> 今日AI界风起云涌，从企业级应用的深度定制到C端产品的全球化布局，技术创新与资本热潮并进。Adobe与IBM分别联手顶级技术，为企业AI服务提速；谷歌与Anthropic则在视频编辑和云端编程领域带来颠覆性工具；同时，医疗AI赛道再现巨额融资，字节跳动AI助手出海告捷，而DeepSeek在长文本处理技术上取得新突破，共同描绘出AI产业蓬勃发展的全景图。

---

## Adobe Firefly迎来企业定制版，AI模型也能“私人订制”

Adobe近期推出的AI Foundry服务，旨在为大型企业提供Firefly模型的深度定制化。通过这项服务，企业可以与Adobe合作，利用自有数据对Firefly模型进行重新训练，使其生成的内容更符合企业独特的品牌风格、产品设计和营销需求。这一举措打破了通用AI模型在特定商业场景下的局限性，支持多概念理解与多模态应用，极大地提升了AI在企业内容创作中的适用范围和灵活性，标志着AIGC技术正迈向更精准、更专业的企业级解决方案。

![image.png](https://static.downly.cn/images/5523ece8657466439525466ca999d659.png)
<center>图源备注：图片由AI生成</center>
 

## 医疗AI新贵OpenEvidence估值飙升，三个月融资2亿美金

医疗AI公司OpenEvidence再次成为资本市场的焦点，在短短三个月内完成了新一轮2亿美元的巨额融资，公司估值因此飙升至60亿美元。这充分彰显了投资者对AI在医疗领域应用前景的高度看好。OpenEvidence的核心产品是一款面向医护人员的AI“聊天机器人”，能够帮助他们快速、准确地获取和分析海量医疗知识与研究文献，从而辅助诊疗决策。资本的持续注入，将加速其技术研发和市场扩张，推动AI在临床实践中的深度应用。

![image.png](https://static.downly.cn/images/f0d4515dc0824ffd84c76d784b5d2013.png)
<center>图源备注：图片由AI生成</center>
 

## 字节跳动Cici火爆海外，AI双品牌战略初见成效

字节跳动旗下的AI助手应用Cici在海外市场取得了显著成功，尤其在墨西哥的Google Play商店中登顶下载榜，并在英国的App Store中跻身前十。Cici与字节跳动在国内推出的“豆包”同期上线，是其“双品牌”出海战略的重要组成部分。尽管应用并未直接标注开发者为字节跳动，但官方已证实其归属。这一成绩表明，字节跳动正凭借其强大的产品运营和本地化能力，在全球AI应用市场中占据一席之地。

![image.png](https://static.downly.cn/images/6f1eb5090a4410bbda373b4c966e3055.png)
<center>图源备注：图片由AI生成</center>
 

## 谷歌Veo实现“指哪改哪”，AI视频编辑进入新纪元

<video src="https://static.downly.cn/images/d8ec43862ff9b87476d3c6a28c3e53bf.mp4" title="6389663555317531324857884.mp4"></video>
谷歌DeepMind为其视频生成模型Veo增添了一项名为“精确编辑”的革命性功能。用户现在可以通过简单的文本指令，对已生成的视频内容进行精细化修改，例如轻松添加一只蝴蝶飞过草地，或无痕移除背景中的某个物体。该功能能够智能理解指令，并确保修改后的画面在光影、风格和动态上与原始视频保持高度的真实性与连贯性。这标志着AI视频编辑技术正从“生成”迈向“精修”，极大地赋能创作者，降低了专业级视频后期制作的门槛。

![image.png](https://static.downly.cn/images/d79692f13b1297ed58d3fb8f92c653c8.png)
<center>图源备注：图片由AI生成</center>
 

## IBM联手Groq，为企业级AI推理注入五倍速动力

IBM宣布与AI芯片初创公司Groq达成合作，计划将Groq的LPU（语言处理单元）推理技术整合至其watsonx企业级AI平台。Groq的LPU架构专为AI推理任务设计，相较于传统的GPU，能在特定场景下提供高达五倍的速度提升。此次合作旨在为企业提供更快速、更经济高效的AI解决方案，用户将能通过watsonx Orchestrate等服务直接调用GroqCloud的强大算力，加速AI在企业业务流程中的部署和应用。

![image.png](https://static.downly.cn/images/266ac5e3e5c4f4954c4185115c874157.png)
<center>图源备注：图片由AI生成</center>
 

## DeepSeek-OCR发布“视觉记忆压缩”，破解AI长文本处理瓶颈

AI初创公司DeepSeek发布了一款创新的光学字符识别（OCR）模型——DeepSeek-OCR。该模型引入了“视觉记忆压缩”机制，模仿人类视觉系统处理信息的方式，能够将冗长的文本内容高效压缩至图像中进行处理。这项技术有效解决了大语言模型（LLM）在处理超长文档时面临的计算量大、上下文丢失等核心难题，让AI能够像“看图阅读”一样高效解析长篇文档，在图像文档解析任务上展现出顶级性能，为AI的记忆和认知能力带来了新的突破。

![image.png](https://static.downly.cn/images/d3579f3a37f336c7ec977cb9a9f7f3a7.png)
<center>图源备注：图片由AI生成</center>
 

## Anthropic让编码无处不在，Claude Code推出网页版
![image.png](https://static.downly.cn/images/a45e1947357765a0541c22181eb3eff4.png)
知名AI公司Anthropic正式推出了其AI编程助手Claude Code的网页版。这一更新极大地简化了开发者的使用流程，用户不再需要进行复杂的本地环境配置或依赖命令行工具，可以直接在浏览器中访问并运行编码任务。此外，网页版还能直接与GitHub代码仓库连接，实现项目的无缝对接和管理。这意味着开发者可以随时随地、在任何设备上利用AI进行高效编程，进一步降低了AI辅助开发的门槛。
入口：https://claude.com/product/claude-code

![image.png](https://static.downly.cn/images/0956570231f723d0f61642f2f30f2233.png)
<center>图源备注：图片由AI生成</center>

每日AI资讯1021：企业级AI定制化加速，视频编辑与云端编程迎来新突破

> 导语 AI行业风起云涌，价格战的硝烟已弥漫至视频生成领域，可灵AI率先降价近三成。与此同时，微软携Copilot强势入局，AI浏览器赛道再添巨头。从OpenAI超4000亿美元的“星际之门”数据中心，到小红书、美图秀秀等应用纷纷内置AI助手，再到智元机器人开源具身智能模型，AI正以前所未有的速度渗透至各行各业，重塑未来格局。

**封面图提示词**
一张充满未来科技感的数字画卷，画面中数据流像星河一样璀璨，连接着巨大的服务器集群、创新的浏览器界面和动态的视频编辑窗口，中心有一个发光的AI大脑核心，象征着人工智能行业的激烈竞争、飞速创新与无限可能。

图源备注：图片由AI生成

---

## 可灵AI掀起价格风暴 视频生成模型降价近30%
视频大模型领域的“价格战”正式打响。可灵AI近日推出了其最新的可灵2.5Turbo视频生成模型，并宣布大幅降价近30%。此举使其成为市场焦点，其订阅费用根据会员等级从66元到266元不等，展现了厂商在激烈竞争中差异化的定价策略。
![image.png](https://static.downly.cn/images/eba431270554afc200d2004860fde5fe.png)

图源备注：图片由AI生成

## 微软Copilot入局 Edge浏览器迎来AI变革
继谷歌和Perplexity之后，微软也正式押注“代理浏览器”概念，通过Copilot模式加入了AI浏览器的激烈竞争。这与谷歌Gemini集成Chrome、Perplexity推出Comet AI浏览器等行业动态相呼应，共同证实了浏览器领域正在经历一场由AI驱动的革命。微软希望借此创新，在市场份额争夺战中占据有利位置。

![image.png](https://static.downly.cn/images/33e100395e97bc3cf486c4840ae43e03.png)
图源备注：图片由AI生成

## 史上最大投资 OpenAI联手甲骨文软银打造“星际之门”
OpenAI、甲骨文和软银三方强强联手，在美国启动了一个名为“星际之门”的宏大AI数据中心项目。该项目总投资超过4000亿美元，初期目标算力为7吉瓦，并计划最终增至10吉瓦，有望成为有史以来规模最大的AI数据中心。

![image.png](https://static.downly.cn/images/8165f6e8cbdd9dc64ced93e0c8a905ff.png)

图源备注：图片由AI生成

## 动作捕捉巨头诺亦腾入局 机器人数据迎来新玩家
面对机器人技术发展中的数据瓶颈，动作捕捉领域的巨头诺亦腾决定顺势而为，将其数据业务独立运营。在腾讯、字节等大厂的推动下，动作捕捉行业热度空前，诺亦腾联合创始人戴若犁精准抓住了国际市场对高质量机器人数据的迫切需求，开启了全新的商业模式，目标直指十亿级市场。

![image.png](https://static.downly.cn/images/9208d288de53ad6e2486f64fc08ba470.png)

图源备注：图片由AI生成

## 小红书办公软件大升级 全新AI助手“hibo”亮相
小红书对其内部办公应用“REDcity”进行了全面升级，并更名为“hi”，同时发布了全新的Logo。此次升级旨在优化工作流程，加强组织管理。最引人注目的是新推出的AI助手“hibo”，它能够自动生成摘要、进行联网搜索和深度思考，从而快速响应各种工作信息需求，助力高效协作。

![image.png](https://static.downly.cn/images/7942ca51dac0c3c2ba0898f928df72ff.png)

图源备注：图片由AI生成

## 智元机器人开源GO-1模型 推动具身智能普及
智元机器人宣布开源全球首个基于ViLLA架构的具身智能模型GO-1。该模型结合了视觉、语言与潜在动作三重能力，旨在大幅降低技术门槛。配合此前发布的AgiBot World百万级真机数据集，智元机器人希望吸引更多开发者共同参与，推动机器人环境理解和具身智能技术的快速发展。

**插图提示词**
一个智元机器人站在一个开放的平台上，向周围的开发者社区伸出机械手臂，手臂中释放出无数开源代码符号，这些符号汇聚成“GO-1”的字样，象征着技术的开放与共享。
![image.png](https://static.downly.cn/images/0a57b677f41a6ae516cffc385071e5d4.png)
图源备注：图片由AI生成

## 美图秀秀即将上线AI智能助手 影像交互迎新体验
美图秀秀计划于九月下旬正式上线其全新的AI智能助手。据悉，该助手将利用RoboNeo技术，实现应用交互的智能化全面升级。这标志着美图公司在AI深度融合战略上又迈出了重要一步，旨在彻底革新传统的影像交互体验。

![image.png](https://static.downly.cn/images/10db3b0ad93e8ba37a4e881bc07e393c.png)

图源备注：图片由AI生成

## “像素蛋糕”宣布核心功能永久免费 AI修图迎普惠时代
为了降低专业修图工具的使用门槛，AI修图软件“像素蛋糕”宣布了一项重大决定。自9月22日起，其基础调色和手动工具等核心功能将永久免费开放。用户只需更新至最新版本，即可无限使用这些功能，不再消耗付费张数。

![image.png](https://static.downly.cn/images/2844947138f197d525143819b53f7526.png)

图源备注：图片由AI生成

## 设计到代码全自动 TRAE Rules实现工作流革命
TRAE项目展示了如何利用Figma的最新功能，通过建立两套固定规则，实现从设计图到代码的端到端全自动化流程。该流程不仅能自动复原设计，还能分析并解决问题，甚至进行自我测试和部署，最终完美复刻项目并生成预览，极大地提升了开发效率。

![image.png](https://static.downly.cn/images/90c962836a41efd5be63214edadb7360.png)

图源备注：图片由AI生成

每日AI资讯0924：视频模型价格战打响，巨头押注AI浏览器与千亿级数据中心

> 由快手技术团队推出的LivePortrait框架，为AI动画领域带来了高效且易于控制的全新解决方案。该技术不仅能基于单张图片快速生成高质量的人像动画视频，还创新性地支持对猫、狗等宠物进行动画驱动，并通过精细的局部控制功能，实现了前所未有的表现力和易用性。
## 高效可控的AI动画新范式

近日，快手VGI团队发布了一项名为[LivePortrait](https://liveportrait.github.io/)的全新AI动画框架，该技术专注于实现高效、高质量的视频驱动肖像动画。 不同于当前主流的扩散模型方法，LivePortrait扩展了隐式关键点技术框架的潜力，成功在计算效率和动画可控性之间取得了出色的平衡。 用户只需一张静态照片，无论是人物肖像还是宠物照片，就能快速生成表情生动、动作自然的动画视频。[体验地址](https://huggingface.co/spaces/KwaiVGI/LivePortrait)

![image.png](https://static.downly.cn/images/3af33c5ca1f4af528b430c08ccd64692.png)

## 核心功能亮点

LivePortrait的强大之处在于其多项创新功能，满足了从普通用户到专业创作者的多样化需求。

### 图像驱动与视频编辑

该模型的核心是图像驱动模式，它能将源图像作为外观参考，从一段驱动视频中提取面部表情和头部姿态，并将其完美融合，生成栩栩如生的动画。 此外，它还支持对已生成的视频进行再编辑，为内容创作提供了极大的灵活性。

### 精准区域控制

为了实现更精细化的控制，LivePortrait特别设计了拼接（Stitching）与重定向（Retargeting）模块。 开发者可以通过简单的数值调整，精确控制眼睛的开合程度或嘴巴的张开大小，实现对特定面部区域的微调，让动画角色的表情更具表现力。

<video src="https://static.downly.cn/images/7da86ed5125439086747e8286658d056.mp4" title="video_animation_3_opt.mp4"></video>

### 跨物种动画 萌宠也能“开口说话”

LivePortrait最引人注目的突破之一，是其强大的泛化能力。通过在动物数据集上进行微调，该模型能够将动画能力从人类扩展到猫、狗甚至熊猫等动物身上。 这意味着用户可以用自己的表情来驱动宠物的照片，让它们“开口唱歌”或做出各种可爱的表情，为宠物内容的创作开辟了全新的互动形式。

<video src="https://static.downly.cn/images/ac7045e272a83e6ebe4352b52fd510ea.mp4" title="animal_monkey_dance.mp4"></video>

## 技术创新与卓越性能

LivePortrait的卓越性能源于其坚实的技术基础。研发团队通过采用混合图像与视频的训练策略，并对高达6900万帧的高质量数据进行训练，极大地提升了模型的泛化能力和生成质量。 其高效的架构设计，使得在消费级的RTX 4090显卡上，生成一帧动画仅需12.8毫秒，展现了惊人的处理速度，非常适合实际应用部署。

## 应用前景

凭借其高效、可控及强大的泛化能力，LivePortrait在社交媒体、数字人、广告营销以及娱乐内容创作等领域展现了巨大的应用潜力。它不仅降低了高质量动画制作的技术门槛，也为用户带来了更加丰富和有趣的互动娱乐体验。

快手发布革命性AI动画工具LivePortrait 人像与宠物照片一键“复活”

> AI界风起云涌，技术应用与产业格局均迎来重磅更新。从谷歌Gemini实时生成交互界面的惊艳技术，到字节跳动、海螺AI等公司在视频生成领域的持续加码，AI正以前所未有的速度渗透到创意与交互的方方面面。与此同时，月之暗面开源其强大的多模态模型Kimi-2506，进一步推动社区发展。产业层面，苹果意图收购Perplexity的传闻引发市场巨震。然而，在一片高歌猛进中，MIT的研究也为我们敲响警钟，提醒我们需警惕对AI的过度依赖可能带来的认知影响。

## 警惕AI陷阱 MIT研究揭示过度依赖AI或导致大脑“变懒”

麻省理工学院（MIT）的一项最新研究为我们揭示了过度依赖AI工具可能带来的潜在风险。实验表明，与独立写作或使用搜索引擎辅助相比，长期完全依赖AI（如ChatGPT）进行写作的用户，其大脑在处理任务时的活跃度显著降低。这可能意味着认知能力的“走捷径”会削弱我们深度思考和解决问题的能力。研究还发现，亲身参与创作过程能显著增强人们对作品的归属感和满意度，这是纯粹由AI生成的作品无法替代的。

![iShot_2025-06-23_11.34.16.png](https://static.downly.cn/images/fd04b6a34281a853aae107ce409605b3.png)

## 字节跳动亮出新王牌 DreamActor-H1让商品图秒变带货视频

<video src="https://static.downly.cn/images/6ba10cca10c17c49251a28ddcf57071b.mp4" title="30647320772-1-16.mp4"></video>
字节跳动近日发布了名为 [DreamActor-H1](https://submit2025-dream.github.io/DreamActor-H1/) 的视频生成系统，展示了其在AIGC视频领域的最新成果。该系统能够仅通过一张商品图片和一张人物照片，自动生成一段高质量、专业风格的带货短视频。从技术演示来看，其效果与广受欢迎的AI视频工具HeyGen相似，能够极大降低电商视频的制作门槛。目前，DreamActor-H1仍处于技术展示阶段，官方仅发布了演示视频和技术报告，尚未公布论文或开源计划。


![image.png](https://static.downly.cn/images/ff55f3865fb3c3d5438b81a67ab2f6c2.png)




## 谷歌开源Magenta RT 音乐创作进入实时生成新纪元

谷歌DeepMind团队为音乐创作者和开发者带来了一份大礼——开源了实时音乐生成模型Magenta RealTime (Magenta RT)。作为其先进模型Lyria的开放权重研究预览版，Magenta RT专注于实时交互式音乐创作与表演，能够根据用户的输入即时生成连贯的音乐片段。这一举措预示着AI在音乐领域的应用正从离线生成迈向实时协作，为现场表演、即兴创作和音乐教育开辟了全新的可能性。



![image.png](https://static.downly.cn/images/cc77d28a44031136de7ef51d6a435223.png)



## 视频剪辑迎来“自动驾驶” 海螺AI发布视频创作智能体

<video src="https://static.downly.cn/images/d1e844c63c547a134a3cddc0442a4596.mp4" title="30647322073-1-16.mp4"></video>
国内AI初创公司海螺AI正式推出了其视频创作工具——Hailuo Video Agent。该工具定位为视频领域的“智能体”，旨在将创作者从繁琐的剪辑工作中解放出来。初期版本通过提供创意模板来简化创作流程，但其最终目标是实现用户自主编辑乃至完全自动化的“一键出片”。该智能体集成了音乐、TTS（文本转语音）、音效和字幕等全套功能，代表了AI赋能视频编辑的未来发展方向。



![image.png](https://static.downly.cn/images/883dd177d41f430aed6d85896ae5b853.png)



## 为机器人打造逼真世界 开源框架EmbodiedGen破解3D环境生成难题

具身智能（Embodied AI）的发展一直受限于高质量、物理真实的3D训练环境。为了突破这一瓶颈，一个名为EmbodiedGen的开源框架应运而生。它能够根据文本或图像输入，生成具有正确物理属性、密闭几何结构且可扩展的3D对象和场景。该框架生成的资产兼容多种主流物理模拟器，极大地降低了为机器人训练和数字孪生创建虚拟世界的成本和难度，为智能机器人研究铺平了道路。


![image.png](https://static.downly.cn/images/9b78864d652be698562cd2ddfafd4b23.png)



## 声音的“私人订制” MiniMax推出Voice Design音色设计功能

稀宇科技（MiniMax）在其开放平台上发布了创新的Voice Design音色设计功能。用户现在可以通过简单的文本描述，自由组合“任意语言、任意口音、任意音色”，创造出独一无二的个性化语音。该功能不仅能精准控制情感、音质等细节，还成功规避了传统音色复刻可能带来的版权风险，为内容创作、虚拟助手等应用场景提供了前所未有的便捷与高效。
用户可通过[稀宇科技国内版平台](minimaxi.com/audio)或[海外版平台](minimax.io/audio)体验Voice Design功能，探索语音合成的无限可能。
![image.png](https://static.downly.cn/images/2ce996768ec2bf3468a3b177bbae2128.png)

## 未来交互已至 谷歌Gemini 2.5 Flash-Lite实现“心念所想，界面即现”

谷歌DeepMind再次展示了其强大的技术实力，发布了Gemini 2.5 Flash-Lite模型。该模型最令人震撼的特性是其超低延迟的实时交互界面生成能力。用户可以通过语音或文本描述，瞬间生成并修改UI界面。这项技术结合了多模态输入和长上下文窗口，预示着一种全新的“生成式操作系统”的到来，用户与设备的交互方式或将被彻底颠覆。
![image.png](https://static.downly.cn/images/85e05624284ab97b3dc8479268d39ee4.png)

## 300亿美元豪赌 苹果或将收购Perplexity以重塑搜索格局

市场传出重磅消息，苹果公司正考虑以高达300亿美元的价格收购AI搜索初创公司Perplexity。若交易达成，这将成为苹果历史上最大规模的并购。此举被视为苹果应对AI时代搜索市场变革的关键一步，意图通过Perplexity先进的对话式、答案驱动的搜索技术，全面升级Siri和Safari的用户体验，以在与谷歌等对手的竞争中抢占先机。

![image.png](https://static.downly.cn/images/9d947b288c191a494212917b1cc2cf34.png)
## Kimi-2506开源 月之暗面升级多模态与智能体能力

国内大模型独角兽月之暗面宣布开源其最新的多模态模型Kimi-2506。新模型在智能体（Agent）和视觉理解能力上取得了重大突破。官方数据显示，其推理效率大幅提升，能够更节省token，同时在多项基准测试中得分显著提高。尤其在视觉方面，它支持高达320万像素的高分辨率图像处理，并在图表分析、长文档问答及视频理解等复杂任务上表现出色。

![image.png](https://static.downly.cn/images/b874ae38fdde0c49932a6e19ff4a81de.png)

AI每日资讯0623

> 在人工智能驱动的数字内容生成领域，如何让虚拟形象更加生动、自然地与用户互动，一直是技术探索的热点。近日，腾讯混元大模型团队推出了一个重磅开源项目——HunyuanVideo-Avatar。这项技术的核心在于能够仅凭一段语音，就驱动生成具有丰富表情和自然口型变化的数字人视频。这一创新不仅极大地降低了数字人视频制作的门槛，更为虚拟直播、教育、娱乐等多个领域带来了全新的可能性，标志着语音驱动数字人技术迈入了新的阶段。


腾讯混元大模型团队在人工智能领域持续发力，继文本生成图片、视频生成等技术之后，再次向开源社区贡献了重要的研究成果——HunyuanVideo-Avatar。这一项目的开源，旨在 democratize（民主化）数字人视频的生成过程，让更多开发者和使用者能够轻松地利用语音来驱动虚拟形象的生成。

![image.png](https://static.downly.cn/images/20250529032514.968715463.png)

HunyuanVideo-Avatar 的核心功能正如其名 所言，能够实现“语音驱动生成数字人”。这意味着用户不再需要复杂的 3D 建模、动作捕捉或专业的视频编辑技能，只需要提供一段音频，系统就能够根据语音的内容、情感和语速，自动生成一个数字人说话的视频。这无疑是一项具有颠覆性的技术，将极大提升内容创作的效率和便捷性。

<video src="https://static.downly.cn/images/20250529085234.658090026.mov" controls width="70%" title="teaser.mov"></video>

在线测试HunyuanVideo-Avatar：[https://hunyuan.tencent.com/modelSquare/home/play?modelId=126](https://hunyuan.tencent.com/modelSquare/home/play?modelId=126)

## 技术揭秘 语音如何“驱动”数字人

实现从音频到数字人视频的无缝转换，需要跨越多模态技术的壁垒。HunyuanVideo-Avatar 在技术上可能采用了以下几个关键组成部分


* **语音特征提取与分析** 系统首先需要对输入的语音进行深入分析，提取出语音的语言内容、语调、情感以及与口型运动相关的声学特征。
* **面部动作与表情生成** 基于语音特征，模型需要推断出数字人相应的面部动作、表情变化以及最关键的——口型变化。这需要对人脸的肌肉运动和语音发声机制有深刻的理解。
* **图像生成与渲染** 最后，模型将生成或操纵数字人的图像，使其面部表情和口型与分析出的语音特征同步，最终输出一段连贯自然的数字人视频。

![image.png](https://static.downly.cn/images/20250529032542.076218755.png)

为了确保生成视频的自然度和逼真度，HunyuanVideo-Avatar 可能采用了先进的深度学习模型，如基于 Transformer 的架构、生成对抗网络（GAN）或扩散模型，并结合了大量的多模态数据集进行训练。[论文](https://arxiv.org/pdf/2505.20156)中可能详细描述了其具体的模型结构和训练策略，例如可能采用了创新的注意力机制来对齐语音和视觉特征，或者使用了新的损失函数来优化生成视频的质量和一致性。

## 开源的价值 普惠 AI 的重要一步

腾讯选择将 HunyuanVideo-Avatar 开源，具有重要的战略意义和社区价值
<video src="https://static.downly.cn/images/20250529082542.256822829.mp4" controls width="70%" title="黑白相声-2.mp4"></video>

* **加速技术普及与应用** 开源使得更多的开发者和研究机构能够接触和使用这一先进技术，基于其进行二次开发和创新应用，从而加速语音驱动数字人技术的普及和落地。
* **激发社区创新活力** 开源社区的力量是巨大的。 全球的开发者可以共同对 HunyuanVideo-Avatar 进行改进、优化和拓展功能，推动技术的快速迭代和演进。
* **构建开放生态** 腾讯通过开源，有助于构建一个围绕混元大模型和数字人技术的开放生态系统，吸引更多合作伙伴共同参与，共同推动产业发展。
* **提升技术透明度** 开源有助于提高技术的透明度，让使用者更加了解模型的原理和潜在限制，促进技术的健康发展。

![image.png](https://static.downly.cn/images/20250529032750.526292890.png)

HunyuanVideo-Avatar 的开源，是腾讯在践行“科技向善”理念、推动 AI 普惠化方面的重要一步，为降低数字内容创作门槛、赋能更多个体和企业提供了强大的工具。


## 广泛应用前景 数字人进入千家万户

HunyuanVideo-Avatar 的出现，将极大地拓展数字人的应用边界，为各行各业带来新的机遇
<video src="https://static.downly.cn/images/20250529083258.269327757.mp4" controls width="70%" title="女声田野独唱.mp4"></video>
* **虚拟直播** 个体创作者和品牌可以快速生成具有个性化形象的虚拟主播，降低直播成本，提升内容吸引力。
* **在线教育** 创建生动有趣的数字老师，根据学生的语音输入进行互动式教学。
* **客服与导览** 生成智能数字客服或虚拟导览员，提供更加人性化的服务体验。
* **娱乐与营销** 制作创意短视频、广告或虚拟偶像，进行更具互动性和趣味性的内容传播。
* **个人表达与社交** 未来用户甚至可以轻松创建自己的数字分身，用于社交互动和内容分享。

![image.png](https://static.downly.cn/images/20250529032918.759711415.png)

凭借语音驱动这一便捷高效的方式，HunyuanVideo-Avatar 有望让数字人不再是高门槛的技术，而是人人都可以轻松使用的工具，真正让数字人“走进千家万户”。
<video src="https://static.downly.cn/images/20250529083247.466789044.mp4" controls width="70%" title="女声吉他独唱森林火焰.mp4"></video>

## 本地部署

需要支持CUDA的NVIDIA GPU
 - 该模型在8GPU的机器上进行了测试。
 - **最低配置**：生成720px1280px129帧视频所需的最小GPU内存为24GB，但速度很慢。
 - **推荐配置**：我们建议使用80GB显存的GPU以获得更好的生成质量。
- 测试过的操作系统：Linux

### 🛠️ 依赖项和安装

首先克隆仓库：

```shell
git clone https://github.com/Tencent/HunyuanVideo-Avatar.git
cd HunyuanVideo-Avatar
```

### Linux安装指南

我们推荐使用CUDA 12.4或11.8版本进行手动安装。

Conda的安装说明可在[这里](https://www.anaconda.com/docs/main)找到。

```shell
# 1. 创建conda环境
conda create -n HunyuanVideo-Avatar python==3.10.9

# 2. 激活环境
conda activate HunyuanVideo-Avatar

# 3. 使用conda安装PyTorch和其他依赖
# 对于CUDA 11.8
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=11.8 -c pytorch -c nvidia
# 对于CUDA 12.4
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia

# 4. 安装pip依赖
python -m pip install -r requirements.txt
# 5. 安装flash attention v2以加速（需要CUDA 11.8或更高版本）
python -m pip install ninja
python -m pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

如果在特定GPU类型上遇到浮点异常（核心转储），您可以尝试以下解决方案：

```shell
# 方案1：确保您已安装CUDA 12.4、CUBLAS>=12.4.5.8和CUDNN>=9.00（或直接使用我们的CUDA 12 docker镜像）
pip install nvidia-cublas-cu12==12.4.5.8
export LD_LIBRARY_PATH=/opt/conda/lib/python3.8/site-packages/nvidia/cublas/lib/

# 方案2：强制显式使用CUDA 11.8编译版本的PyTorch和所有其他包
pip uninstall -r requirements.txt # 卸载所有包
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install ninja
pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

此外，您也可以使用混元视频Docker镜像。使用以下命令拉取并运行docker镜像。

```shell
# 对于CUDA 12.4（更新以避免浮点异常）
docker pull hunyuanvideo/hunyuanvideo:cuda_12
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_12
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2

# 对于CUDA 11.8
docker pull hunyuanvideo/hunyuanvideo:cuda_11
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_11
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2
```

### 🧱 下载预训练模型

预训练模型的下载详情请参见[这里](https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar/blob/main/weights/README.md)。

### 🚀 多GPU并行推理

例如，要使用8个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./
export MODEL_BASE="./weights"
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states.pt

torchrun --nnodes=1 --nproc_per_node=8 --master_port 29605 hymm_sp/sample_batch.py \
 --input 'assets/test.csv' \
 --ckpt ${checkpoint_path} \
 --sample-n-frames 129 \
 --seed 128 \
 --image-size 704 \
 --cfg-scale 7.5 \
 --infer-steps 50 \
 --use-deepcache 1 \
 --flow-shift-eval-video 5.0 \
 --save-path ${OUTPUT_BASEPATH} 
```

### 🔑 单GPU推理

例如，要使用1个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-single
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export DISABLE_SP=1 
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
 --input 'assets/test.csv' \
 --ckpt ${checkpoint_path} \
 --sample-n-frames 129 \
 --seed 128 \
 --image-size 704 \
 --cfg-scale 7.5 \
 --infer-steps 50 \
 --use-deepcache 1 \
 --flow-shift-eval-video 5.0 \
 --save-path ${OUTPUT_BASEPATH} \
 --use-fp8 \
 --infer-min
```

### 低显存运行方案

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-poor

checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export CPU_OFFLOAD=1
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
 --input 'assets/test.csv' \
 --ckpt ${checkpoint_path} \
 --sample-n-frames 129 \
 --seed 128 \
 --image-size 704 \
 --cfg-scale 7.5 \
 --infer-steps 50 \
 --use-deepcache 1 \
 --flow-shift-eval-video 5.0 \
 --save-path ${OUTPUT_BASEPATH} \
 --use-fp8 \
 --cpu-offload \
 --infer-min
```

### 运行Gradio服务器

```bash
cd HunyuanVideo-Avatar

bash ./scripts/run_gradio.sh
```

## 未来展望 AI 驱动数字内容新浪潮

腾讯开源 HunyuanVideo-Avatar，是人工智能驱动数字内容生成浪潮中的一个重要里程碑。它不仅展示了腾讯在多模态 AI 领域的深厚技术积累，更通过开源的方式，将前沿技术分享给全球社区，共同推动数字人技术的创新和应用。

随着技术的不断发展和社区的共同努力，我们可以期待 HunyuanVideo-Avatar 在未来能够支持更多复杂的语音情绪、更细腻的面部表情以及更多样的数字人形象。这场由语音驱动的数字人新浪潮，才刚刚开始，它将深刻改变我们创作、消费和互动数字内容的方式。

腾讯开源 HunyuanVideo-Avatar 语音驱动数字人视频生成



> 视频理解是人工智能领域最具挑战性的任务之一。如何让AI模型理解超长视频（例如数分钟甚至数小时）中的复杂内容和动态变化，一直是困扰研究人员的难题。最近，一项创新的阶梯式差异蒸馏技术取得了重大突破，成功将视频-语言模型的处理能力扩展到惊人的10000帧，为实现更深入、更全面的视频内容理解打开了新的大门。



## 视频-语言模型的长度困境

视频包含了丰富的视觉和听觉信息，以及随时间演变的动态过程。视频-语言模型旨在建立视频内容与自然语言描述之间的联系，实现视频字幕生成、视频问答、视频检索等功能。然而，处理超长视频对现有模型构成了严峻挑战。传统的视频模型通常只能处理几十到几百帧的短视频片段。随着视频长度增加，计算量呈指数级增长，模型难以捕捉长距离依赖关系，容易丢失关键信息，导致理解能力下降。



![image.png](https://static.downly.cn/images/20250513082326.540131944.png)



## 阶梯式差异蒸馏：破解长度瓶颈的关键

为了解决视频-语言模型的长度困境，研究人员提出了一种名为“Hierarchical Differential Distillation”（阶梯式差异蒸馏）的创新技术。这项技术的灵感来源于人类对长时信息的处理方式：我们不会一次性处理所有细节，而是先抓住整体框架，再逐步关注局部差异。

具体来说，该方法首先将超长视频分解为多个层次的片段。在较高层次，模型关注视频的整体结构和主要事件；在较低层次，模型则关注细节和局部变化。通过这种层次化的处理，模型能够有效地捕捉不同时间尺度的信息。

而“差异蒸馏”则是指在不同层次之间进行信息传递和精炼。模型学习如何从高层次的整体信息中提取关键的差异性特征，并将其传递给较低层次的模型进行细化。同时，较低层次的模型也会将处理后的细节信息反馈给高层次，形成一个协同工作的体系。这种蒸馏过程使得模型能够在保持效率的同时，处理超长视频并捕捉其中的精细变化。



![image.png](https://static.downly.cn/images/20250513082402.721533179.png)



## 成功扩展至万帧，性能显著提升

通过采用阶梯式差异蒸馏技术，研究人员成功地将视频-语言模型的处理能力扩展到了前所未有的10000帧（相当于数分钟甚至更长的视频）。在多项视频理解任务上进行的测试表明，该方法不仅能够处理超长视频，而且在视频字幕生成、视频问答等任务上的性能也得到了显著提升。模型能够更准确地理解视频中的故事情节、人物行为以及物体之间的复杂关系，生成更连贯、更详细的自然语言描述。



![image.png](https://static.downly.cn/images/20250513082423.849037458.png)



## 应用前景广阔

这项技术的突破，为超长视频内容的智能化处理打开了广阔的应用前景。例如，在视频监控领域，模型可以长时间监控并理解复杂的场景变化；在教育领域，模型可以分析和理解长篇教学视频的内容；在娱乐领域，模型可以更好地理解电影和电视剧的故事情节，生成更精彩的摘要和推荐。此外，这项技术也将助力视频编辑、视频检索等领域的进一步发展。







## 迈向更全面的视频理解

AI在视频理解领域正不断取得进展。这项将AI与创新算法相结合的技术，成功突破了视频长度的限制，为实现更全面、更深入的视频内容理解奠定了基础。随着技术的不断演进，我们有理由期待未来AI能够像人类一样，轻松理解和处理任何长度的视频，甚至能够“看懂”并理解我们日常生活中的点滴瞬间。





万帧视频理解不再是梦！阶梯式蒸馏技术突破视频-语言模型长度瓶颈

万兴科技推出的AI视频编辑工具

Filmora

Vozo

AI在线图像和视频编辑平台，专为电商、设计提供服务

Vmake AI

AI视频编辑工具，支持通过编辑文字来剪辑音视频内容

搜索结果: 视频编辑