> 科技巨头的AI竞赛愈演愈烈，本日焦点无疑是谷歌。从开源手机端多模态模型Gemma3n，到用Gemini全面取代谷歌助手，再到推出Offerwall工具应对AI搜索冲击，谷歌正以前所未有的力度将其AI能力渗透到从底层技术到上层应用的每一个角落。与此同时，AI在内容创作领域的革命也在加速，HeyGen的一键视频生成工具和Suno对音乐编辑软件的收购，预示着一个普通人也能轻松创作专业级内容的时代正在到来。而在这场变革的背后，Meta与OpenAI的人才争夺战，则揭示了驱动这一切的核心——顶尖智慧的激烈角逐。

## 手机也能跑云端AI 谷歌开源多模态模型Gemma3n

谷歌近日投下一枚重磅炸弹，正式开源了其全新的端侧多模态大模型[Gemma3n](https://huggingface.co/collections/google/gemma-3n-685065323f5984ef315c93f4)。该系列模型旨在将以往依赖云端服务器的强大AI能力，直接带入用户的个人设备中。Gemma3n提供了E2B和E4B两个版本，以其惊人的小体积和高内存效率，实现了在手机等移动设备上进行复杂的图像、音频、视频及文本处理。


![image.png](https://static.downly.cn/images/6510a108a2a3ef47c21d515ab39ec1b2.png)


得益于MatFormer、PLE、KV Cache共享等一系列创新技术，Gemma3n不仅在多语言理解、数学、编码方面表现出色，其推理能力也获得了显著提升。此举无疑将极大地推动移动应用和智能硬件的创新，让AI真正无缝融入我们的日常生活。

## 再见Google助手 Gemini全面接管安卓智能体验

谷歌正式宣布，其强大的AI助手Gemini将全面整合进Android手机系统，并于7月7日起逐步上线。这意味着，经典的Google Assistant将逐渐退出历史舞台。更新后，用户无需打开特定应用，即可通过Gemini执行拨打电话、发送消息等日常操作，实现更深层次的系统级智能交互。
![image.png](https://static.downly.cn/images/e5b9fae8f48fca6eeeec8419ca4c560f.png)


针对用户普遍关心的隐私问题，谷歌也给出了解决方案。用户可以随时在设置中禁用“应用活动”选项，从而阻止自己的聊天记录被用于AI模型的训练，确保个人数据的安全。Gemini的全面上位，标志着Android设备将迎来一个更便捷、更智能也更注重隐私的AI新时代。

## 谷歌推新利器Offerwall 力挽AI搜索狂澜助出版商增收

随着AI驱动的搜索（如SGE）逐渐改变用户获取信息的方式，传统网站和内容出版商面临着流量下滑的巨大挑战。为此，谷歌在Ad Manager中免费推出了名为Offerwall的全新工具，旨在帮助出版商开辟新的变现途径。Offerwall允许读者通过多种方式灵活地访问付费内容，例如完成一次小额支付、观看一段广告视频，或是参与一项简短的调查。


![image.png](https://static.downly.cn/images/f7ce2b0b795478a996a134f834ac0bca.png)


在一千家出版商参与的前期测试中，该工具取得了显著成效，平均为他们带来了9%的收入提升。这对于在AI浪潮中寻求生存与发展的数字内容创作者而言，无疑是一个积极的信号。

## 一键生成爆款视频 HeyGen推出AI视频代理颠覆内容创作

视频创作的门槛正在被AI彻底打破。知名AI视频公司HeyGen最近推出了一款革命性的“AI视频Agent”，它能够将视频制作流程完全自动化。用户只需上传图片、视频片段或简单的文本描述，这个AI代理就能自动完成从故事构思、脚本撰写到镜头选择、剪辑合成的全过程。


![image.png](https://static.downly.cn/images/663d105e0649f0eada2cbe256056d471.png)


在短短几分钟内，即便是毫无经验的普通人也能生成一部专业水准的视频。这项技术为广告营销、短视频内容生产等领域提供了前所未有的高效解决方案，让内容创作者能以更低的成本和更高的效率，将创意变为现实。

## AI人才争夺白热化 Meta从OpenAI挖走顶尖研究员

AI领域的竞争，归根结底是顶尖人才的竞争。近日，Meta公司成功从其主要竞争对手OpenAI挖角，引进了强化学习和AI推理领域的顶尖研究员Trapit Bansal。他将加入Meta内部一个星光熠熠的“AI超级智能部门”，该部门由前Scale AI首席执行官领导，并已吸引了多位来自Open-AI和Google DeepMind的核心人才。

![image.png](https://static.downly.cn/images/b324fceda98a6e05ef43faaa071fc2ef.png)

此次挖角被视为Meta在AI模型竞赛中为取得领先优势而采取的关键一步。尽管此前Meta尝试收购AI初创公司的计划未能成功，但通过精准引进顶尖人才，Meta正不断加强其研发实力，以应对日益激烈的行业挑战。

## AI应用与工具速览

### YouTube测试AI摘要与对话式搜索

YouTube正在测试两项新的AI功能以提升用户体验：在搜索结果中直接显示由AI生成的视频内容摘要，以及扩展其对话式AI工具。然而，这一举措引发了内容创作者的担忧，他们害怕AI摘要会减少用户的实际视频观看量，从而影响其广告收入。

### 谷歌发布虚拟试衣应用Doppl

谷歌推出了一款名为Doppl的AI虚拟试衣应用（目前仅限美国）。用户只需上传一张自己的全身照，就能将网上的任意服装图片“穿”在自己身上，甚至可以生成动态的试穿效果视频，为线上购物提供了极具未来感的体验。
<video src="https://static.downly.cn/images/61db2b003feb947f62e7df849ffad7f9.mp4"  title="doppl1 - Compressed with FlexClip.mp4"></video>
### 黑森林团队开源最强图像编辑模型FLUX.1

Black Forest Labs（黑森林团队）开源了其强大的图像编辑模型FLUX.1 Kontext [dev]。开发者现在可以在ComfyUI等工作流平台中结合LoRA使用该模型，实现更高自由度和更精细的图像编辑效果。
![image.png](https://static.downly.cn/images/a944c19d1d7bb088aee047be0e02a56a.png)

### Anthropic推出Claude Artifacts Space

AI公司Anthropic为其大模型产品Claude推出了名为“Artifacts Space”的新功能。它允许用户将自己基于Claude创建的各种AI应用工具发布到一个共享空间，供其他人浏览和使用，极大地促进了AI应用的共享和创新。
<video src="https://static.downly.cn/images/a7669a676e786af417176f1d1751de1c.mp4"  title="30716920954-1-16.mp4"></video>

### Suno收购WavTool强化AI音乐创作

AI音乐生成领域的明星公司Suno，近日收购了基于浏览器的AI音乐制作软件WavTool。此举旨在为其用户提供更强大的后期编辑能力，让音乐人不仅能用AI生成音乐，还能像在专业工作站中一样对AI生成的音轨进行精细的调整和修改。
![image.png](https://static.downly.cn/images/39578c84acf5e8765f93dc85738c4bc9.png)

AI每日资讯0627



> AI界风起云涌，技术应用与产业格局均迎来重磅更新。从谷歌Gemini实时生成交互界面的惊艳技术，到字节跳动、海螺AI等公司在视频生成领域的持续加码，AI正以前所未有的速度渗透到创意与交互的方方面面。与此同时，月之暗面开源其强大的多模态模型Kimi-2506，进一步推动社区发展。产业层面，苹果意图收购Perplexity的传闻引发市场巨震。然而，在一片高歌猛进中，MIT的研究也为我们敲响警钟，提醒我们需警惕对AI的过度依赖可能带来的认知影响。

## 警惕AI陷阱 MIT研究揭示过度依赖AI或导致大脑“变懒”

麻省理工学院（MIT）的一项最新研究为我们揭示了过度依赖AI工具可能带来的潜在风险。实验表明，与独立写作或使用搜索引擎辅助相比，长期完全依赖AI（如ChatGPT）进行写作的用户，其大脑在处理任务时的活跃度显著降低。这可能意味着认知能力的“走捷径”会削弱我们深度思考和解决问题的能力。研究还发现，亲身参与创作过程能显著增强人们对作品的归属感和满意度，这是纯粹由AI生成的作品无法替代的。

![iShot_2025-06-23_11.34.16.png](https://static.downly.cn/images/fd04b6a34281a853aae107ce409605b3.png)

## 字节跳动亮出新王牌 DreamActor-H1让商品图秒变带货视频

<video src="https://static.downly.cn/images/6ba10cca10c17c49251a28ddcf57071b.mp4"  title="30647320772-1-16.mp4"></video>
字节跳动近日发布了名为 [DreamActor-H1](https://submit2025-dream.github.io/DreamActor-H1/) 的视频生成系统，展示了其在AIGC视频领域的最新成果。该系统能够仅通过一张商品图片和一张人物照片，自动生成一段高质量、专业风格的带货短视频。从技术演示来看，其效果与广受欢迎的AI视频工具HeyGen相似，能够极大降低电商视频的制作门槛。目前，DreamActor-H1仍处于技术展示阶段，官方仅发布了演示视频和技术报告，尚未公布论文或开源计划。


![image.png](https://static.downly.cn/images/ff55f3865fb3c3d5438b81a67ab2f6c2.png)




## 谷歌开源Magenta RT 音乐创作进入实时生成新纪元

谷歌DeepMind团队为音乐创作者和开发者带来了一份大礼——开源了实时音乐生成模型Magenta RealTime (Magenta RT)。作为其先进模型Lyria的开放权重研究预览版，Magenta RT专注于实时交互式音乐创作与表演，能够根据用户的输入即时生成连贯的音乐片段。这一举措预示着AI在音乐领域的应用正从离线生成迈向实时协作，为现场表演、即兴创作和音乐教育开辟了全新的可能性。



![image.png](https://static.downly.cn/images/cc77d28a44031136de7ef51d6a435223.png)



## 视频剪辑迎来“自动驾驶” 海螺AI发布视频创作智能体

<video src="https://static.downly.cn/images/d1e844c63c547a134a3cddc0442a4596.mp4"  title="30647322073-1-16.mp4"></video>
国内AI初创公司海螺AI正式推出了其视频创作工具——Hailuo Video Agent。该工具定位为视频领域的“智能体”，旨在将创作者从繁琐的剪辑工作中解放出来。初期版本通过提供创意模板来简化创作流程，但其最终目标是实现用户自主编辑乃至完全自动化的“一键出片”。该智能体集成了音乐、TTS（文本转语音）、音效和字幕等全套功能，代表了AI赋能视频编辑的未来发展方向。



![image.png](https://static.downly.cn/images/883dd177d41f430aed6d85896ae5b853.png)



## 为机器人打造逼真世界 开源框架EmbodiedGen破解3D环境生成难题

具身智能（Embodied AI）的发展一直受限于高质量、物理真实的3D训练环境。为了突破这一瓶颈，一个名为EmbodiedGen的开源框架应运而生。它能够根据文本或图像输入，生成具有正确物理属性、密闭几何结构且可扩展的3D对象和场景。该框架生成的资产兼容多种主流物理模拟器，极大地降低了为机器人训练和数字孪生创建虚拟世界的成本和难度，为智能机器人研究铺平了道路。


![image.png](https://static.downly.cn/images/9b78864d652be698562cd2ddfafd4b23.png)



## 声音的“私人订制” MiniMax推出Voice Design音色设计功能

稀宇科技（MiniMax）在其开放平台上发布了创新的Voice Design音色设计功能。用户现在可以通过简单的文本描述，自由组合“任意语言、任意口音、任意音色”，创造出独一无二的个性化语音。该功能不仅能精准控制情感、音质等细节，还成功规避了传统音色复刻可能带来的版权风险，为内容创作、虚拟助手等应用场景提供了前所未有的便捷与高效。
用户可通过[稀宇科技国内版平台](minimaxi.com/audio)或[海外版平台](minimax.io/audio)体验Voice Design功能，探索语音合成的无限可能。
![image.png](https://static.downly.cn/images/2ce996768ec2bf3468a3b177bbae2128.png)

## 未来交互已至 谷歌Gemini 2.5 Flash-Lite实现“心念所想，界面即现”

谷歌DeepMind再次展示了其强大的技术实力，发布了Gemini 2.5 Flash-Lite模型。该模型最令人震撼的特性是其超低延迟的实时交互界面生成能力。用户可以通过语音或文本描述，瞬间生成并修改UI界面。这项技术结合了多模态输入和长上下文窗口，预示着一种全新的“生成式操作系统”的到来，用户与设备的交互方式或将被彻底颠覆。
![image.png](https://static.downly.cn/images/85e05624284ab97b3dc8479268d39ee4.png)

## 300亿美元豪赌 苹果或将收购Perplexity以重塑搜索格局

市场传出重磅消息，苹果公司正考虑以高达300亿美元的价格收购AI搜索初创公司Perplexity。若交易达成，这将成为苹果历史上最大规模的并购。此举被视为苹果应对AI时代搜索市场变革的关键一步，意图通过Perplexity先进的对话式、答案驱动的搜索技术，全面升级Siri和Safari的用户体验，以在与谷歌等对手的竞争中抢占先机。

![image.png](https://static.downly.cn/images/9d947b288c191a494212917b1cc2cf34.png)
## Kimi-2506开源 月之暗面升级多模态与智能体能力

国内大模型独角兽月之暗面宣布开源其最新的多模态模型Kimi-2506。新模型在智能体（Agent）和视觉理解能力上取得了重大突破。官方数据显示，其推理效率大幅提升，能够更节省token，同时在多项基准测试中得分显著提高。尤其在视觉方面，它支持高达320万像素的高分辨率图像处理，并在图表分析、长文档问答及视频理解等复杂任务上表现出色。

![image.png](https://static.downly.cn/images/b874ae38fdde0c49932a6e19ff4a81de.png)




AI每日资讯0623

> 今天的AI前沿资讯。从Adobe的实时视频生成，到NVIDIA的光影魔法，再到Hugging Face的亲民微调教程，今天的科技界可谓是精彩纷呈。无论是专业开发者还是普通爱好者，都能在今天的快讯中找到属于自己的惊喜。让我们一起来看看都有哪些不容错过的亮点吧！

---

## Adobe亮剑视频生成！Self Forcing模型实现4090显卡实时出片，人人都是特效师

> Adobe最新发布的Self Forcing模型，标志着实时视频生成技术的新突破。该模型基于Wang 2.1架构，实现了在单张RTX 4090消费级显卡上的流畅运行，并已开放线上试用，让更多创作者能够亲身体验其强大的功能。

### Self Forcing 核心技术解析

Adobe推出的Self Forcing模型，其技术核心是建立在先进的Wang 2.1架构之上。这一架构专为流式视频生成进行了优化，意味着模型能够一边接收输入指令，一边连续不断地生成视频帧，从而达到“实时”的效果。这与传统模型需要等待完整指令后才能开始渲染的方式截然不同，为即时互动和直播等场景提供了可能。

![image.png](https://static.downly.cn/images/047efc3d48e72798bdc15fd5ff06e0ff.png)

### 硬件亲民化的重要一步

以往，高质量的AI视频生成往往需要庞大的计算资源，通常是数据中心级别的服务器集群。而Self Forcing模型最大的亮点之一，就是它对硬件的优化。官方宣称，该模型可以在单张NVIDIA RTX 4090显卡上高效运行。这使得拥有高端PC的个人开发者、设计师和内容创作者，也能够接触并使用前沿的AI视频生成技术，极大地降低了技术门槛。

### 在线试用与未来展望

为了让更多用户感受Self Forcing的魅力，Adobe已经提供了在线试用入口。用户可以通过官方渠道访问并体验这一模型的实时生成能力。这一举措不仅展示了Adobe对自身技术的信心，也预示着AI视频生成工具将加速融入普通人的创作流程中，未来我们可能会看到更多由AI实时生成的短视频、直播背景甚至互动电影。
[试用地址](https://huggingface.co/spaces/multimodalart/self-forcing)

---

## 挑战Whisper霸主地位！Kyutai发布开源极速STT模型，实时语音转写新选择

> 法国AI初创公司Kyutai推出了一款名为Kyutai Speech-To-Text（STT）的开源模型，以其惊人的速度和超越Whisper Large v3的性能，为语音转文本领域带来了新的标杆。该模型特别优化了实时流式处理，并提供了针对不同需求的版本。

### 性能卓越 超越Whisper

Kyutai Speech-To-Text模型在发布之初就将目标对准了行业标杆OpenAI的Whisper。根据官方公布的数据，其纯英语的2.6B参数版本，在多项评测基准上表现优于Whisper Large v3。这不仅体现在转写的准确率上，更体现在其“极速”的特性上，无论是处理已有的音频文件（批量推理），还是进行实时的语音流转写（流式推理），都展现出了顶级的性能。

![image.png](https://static.downly.cn/images/99f96be5cb2ecec3b5f806a8ddda16bc.png)


### 两种模型版本 各有侧重

为了满足不同场景的需求，Kyutai贴心地推出了两个版本：
*   **2.6B参数模型** 这是一个纯英语模型，性能强劲，是追求最高转写质量和速度的用户的首选。
*   **1B参数模型** 这是一个更轻量级的双语模型，专为英语和法语的实时语音聊天场景优化。它在保持较低延迟的同时，实现了高效的双语识别，非常适合跨语言交流工具的开发。

### 开源精神与应用前景

Kyutai STT模型选择完全开源，开发者可以在其官方渠道（如Hugging Face）轻松获取模型和相关代码。这意味着任何开发者都可以自由地使用、修改和集成这个强大的工具。尽管目前模型暂不支持中文，但其出色的架构和性能为多语言语音识别领域注入了新的活力，未来有望通过社区的力量扩展到更多语种。

[官方链接](https://kyutai.org/next/stt)

---

## 后期制作的魔法！NVIDIA UniRelight一键重塑视频光影，废片变大片

> NVIDIA AI团队再次展示其技术实力，推出名为UniRelight的通用视频重照明技术。这项基于扩散模型的技术，能够仅凭单张参考图或一段视频，就对目标视频实现逼真、高质量的动态光影重塑，为影视后期和内容创作带来了革命性的工具。

### UniRelight 是什么

UniRelight是一项创新的“通用重照明”技术。简单来说，它允许创作者在视频拍摄完成之后，像编辑照片一样，任意改变视频中的光照效果。无论是想把白天变成黑夜，还是为场景添加一盏虚拟的、动态移动的灯光，UniRelight都能通过AI计算，生成符合物理规律的、自然的光影变化，极大地丰富了后期创作的可能性。



### 扩散模型的魔力

这项技术的核心驱动力是扩散模型（Diffusion Model）。模型通过学习海量数据，理解了光线与物体表面材质、场景深度之间的复杂关系。当用户提供一张参考图片（例如一张日落的照片）时，UniRelight就能“理解”其中的光照风格，并将其应用到目标视频的每一帧中，同时确保光影的连续性和真实感。

### 应用场景与开源计划

UniRelight的应用前景极为广阔。对于电影制作，它可以大幅降低现场布光的成本和难度；对于短视频创作者，它可以轻松为普通视频增添“电影感”；对于游戏开发，它可以用于生成更真实的环境光照。NVIDIA已经表示，该技术的代码即将开源，这意味着它将很快成为广大开发者和创作者可以使用的强大工具。目前，官方网站已展示了大量惊艳的效果案例供业界参考。

[官方链接](https://research.nvidia.com/labs/toronto-ai/UniRelight/)

---

## 一张图、一段话，AI帮你拍广告！HeyGen新功能让产品视频制作进入“傻瓜”模式

> AI视频生成平台HeyGen再次降低内容创作门槛，推出了全新的AI广告生成工具。现在，用户仅需三步——上传产品图、选择虚拟形象、输入文案，即可快速生成一段专业的带货或产品介绍视频，彻底改变了传统营销视频的制作模式。

### 三步搞定产品视频

HeyGen新推出的产品植入功能，主打的就是极致的简洁与高效。整个创作流程被简化为三个核心步骤：
1.  **提供产品照片** 用户上传自己需要推广的产品的清晰图片。
2.  **选择人物形象** 在HeyGen提供的多种虚拟形象中，选择一个符合品牌调性的“代言人”。
3.  **输入文字脚本** 将产品介绍、广告语等文案输入系统。

完成这三步后，AI会自动将产品照片与虚拟形象融合，并根据脚本生成一段口型精准、动作自然的介绍视频。



### AI如何简化营销流程

这项功能背后，是成熟的AI虚拟人技术和图像处理技术的结合。AI不仅能让虚拟人自然地“说话”，还能智能地将静态的产品图片融入到动态的视频场景中，仿佛虚拟人真的手持产品在进行介绍。对于中小型企业、电商卖家或个人品牌来说，这意味着无需昂贵的拍摄团队、演员和场地，就能快速、低成本地批量生产高质量的营销视频。

### 为谁而生

这个工具的主要受益者是那些需要大量视频内容但预算有限的营销人员和商家。它极大地缩短了从创意到成品的周期，使得测试不同的广告文案、产品卖点和视觉风格变得轻而易举。可以说，HeyGen正在让专业的视频广告制作，变得像制作PPT一样简单。

<video src="https://static.downly.cn/images/d7f27be5bce5805ea5d8006fbee8299a.mp4"  title="30591878914-1-16.mp4"></video>

---

## 10GB显存就能“炼丹”！Hugging Face发布FLUX.1-dev平民级微调教程

> 人人都能微调大模型不再是梦想。Hugging Face近日发布官方教程，手把手教你如何利用QLoRA技术，在仅有10GB显存的消费级显卡上，对强大的文生图模型FLUX.1-dev进行高效微调，极大地降低了AI模型定制化的门槛。

### 主角 FLUX.1-dev模型

FLUX.1-dev 是一个新兴的、强大的文本到图像生成模型。与之前的扩散模型不同，它采用了新的架构，旨在更深刻地理解文本提示的复杂性和细微差别，从而生成更贴合描述的图像。能够对这样的前沿模型进行微调，意味着用户可以训练出具有自己独特风格的“专属AI画家”。

### 核心技术 QLoRA

实现低门槛微调的关键在于QLoRA（Quantized Low-Rank Adaptation）技术。简单来说，它是一种“四两拨千斤”的训练方法。它通过量化和低秩适配技术，在不牺牲太多性能的前提下，大幅减少了模型微调过程中所需要的显存。Hugging Face的教程正是利用了QLoRA，将原本需要专业级硬件才能进行的任务，成功地运行在了仅有10GB显存的消费级显卡上，如RTX 3060 (12GB) 或 RTX 4060 Ti等。
![image.png](https://static.downly.cn/images/94de23f39bcfcf327cc018f38cf20cad.png)


### 教程详解与实践意义

Hugging Face发布的这篇[官方教程](https://huggingface.co/blog/flux-qlora)，详细介绍了整个微调过程的每一步，包括环境配置、加载模型、准备数据集，以及如何使用`diffusers`库来应用QLoRA进行训练。这篇教程的意义非凡，它为广大的AI爱好者、艺术家和独立开发者打开了一扇大门，让他们能够用得起的硬件，去定制和探索最先进的AI模型，从而催生出更多个性化、多样化的AI艺术作品和应用。

AI每日资讯0620

> 近日，字节跳动重磅发布了其最新视频生成模型 **Seedance 1.0**。 该模型带来了文本到视频、图像到视频双模态生成、流畅运动表现以及最引人瞩目的**原生支持多镜头叙事**等三大核心能力，预示着 AI 视频生成技术正迈向更高级、更智能的叙事创作阶段。



在人工智能内容创作领域，视频生成技术一直被视为最具挑战性也最富潜力的方向之一。 近日，互联网巨头字节跳动正式推出了其自研的先进视频生成模型——**Seedance 1.0**，这一发布不仅展示了字节在 AIGC (人工智能生成内容) 领域的深厚积累，更以其独特的**多镜头叙事能力**，为未来的视频创作带来了无限可能。

<video src="https://static.downly.cn/images/170a46ad27996c4209671b8b577eb95c.mp4"  title="30448618646-1-16.mp4"></video>

Seedance 1.0 的发布，无疑将进一步加速 AI 视频生成从“单镜头片段”走向“完整故事”的进程。
[即梦体验地址](https://jimeng.jianying.com/ai-tool/video/generate),目前可以生成5s，10s两种类型，仅会员可用
![iShot_2025-06-12_10.10.06.png](https://static.downly.cn/images/5decf22742093b09cff60041fdd894ab.png)

### Seedance 1.0 三大核心能力揭秘

Seedance 1.0 凭借其在技术上的创新突破，带来了令人印象深刻的三大核心能力，使其在当前 AI 视频生成模型中独树一帜

#### 1. 支持文本到视频和图像到视频双模态生成

Seedance 1.0 提供了灵活的输入方式，满足了不同用户的创作需求

*   **文本到视频 (text-to-video)** 用户只需输入一段描述性文本，Seedance 1.0 就能根据文本内容自动生成对应的视频片段。 这极大地降低了视频创作的门槛，让文字创作者也能轻松实现视觉化表达。
*   **图像到视频 (image-to-video)** 用户也可以提供一张静态图片作为起点，Seedance 1.0 将基于该图片生成动态的视频内容，为静态图像注入生命力。

这种双模态输入的支持，为用户提供了更加丰富多样的创作起点和可能性。

#### 2. 实现大幅度流畅运动生成和高精度提示词遵循

在 AI 视频生成中，运动的流畅性和对提示词的准确遵循是衡量模型质量的重要指标。 Seedance 1.0 在这两方面均有显著提升

*   **流畅运动生成** 模型能够生成更自然、更连贯的运动轨迹和画面过渡，避免了传统 AI 视频常见的卡顿、跳帧等问题，使得生成视频的观感更加舒适。
*   **提示词遵循精度显著提升** Seedance 1.0 对用户输入文本提示词的理解和执行能力更强，能更精确地将用户的意图转化为视频内容，减少了生成结果与预期不符的情况。

这意味着用户可以更精准地控制视频的风格、内容和动作细节。

#### 3. 原生支持多镜头叙事视频生成

这无疑是 Seedance 1.0 最具突破性的亮点。 传统的 AI 视频生成多为单个场景或单镜头片段，而 Seedance 1.0 则能够

*   **自动创建包含连贯转场的完整故事片段** 用户可以描述一个故事情节，Seedance 1.0 不仅能生成单个场景的视频，还能自动识别并生成多个镜头，并通过流畅的转场将它们无缝连接起来，形成一个有情节、有逻辑的叙事性视频。



这一能力对于短视频、广告、动画预演等领域具有革命性意义，它让 AI 不再仅仅是“片段生成器”，而是成为了一个“故事讲述者”。

### Seedance 1.0 模型表现突出

除了功能上的创新，Seedance 1.0 在实际性能表现上也达到了行业领先水平。 在其内部基准测试 **SeedVideoBench-1.0** 以及第三方评测平台 **Artificial Analysis** 上，Seedance 1.0 都展现出卓越的综合实力。

#### SeedVideoBench-1.0 多维度评测

在与行业其他主流视频生成模型的对比中，Seedance 1.0 在多个核心维度表现出色

*   **指令遵循** 对用户文本提示词的理解和执行能力更强，生成内容与指令的匹配度更高。
*   **运动质量** 视频中对象的运动、场景的切换以及整体的动态效果更加流畅、自然，视觉体验极佳。
*   **美学表现** 生成视频的画面质量、色彩搭配、构图等视觉元素更具美感，达到更高的艺术水准。

这些优异的表现，使得 Seedance 1.0 在生成高质量、高准确度的视频内容方面具备强大优势。

![image.png](https://static.downly.cn/images/bb84622c6127c47fe12f7415a55d401e.png)

### Seedance 1.0 的应用前景与行业影响

Seedance 1.0 的发布，无疑将对多个行业产生深远影响

*   **内容创作** 极大地赋能内容创作者，无论是短视频达人、独立电影制作人，还是广告公司，都能以更低的成本和更高的效率创作出高质量、有故事性的视频内容。
*   **营销与广告** 品牌可以快速生成定制化的营销视频，针对不同受众进行精准投放，提升广告效果。
*   **教育与培训** 制作生动形象的教学视频将变得更加简单，提升学习体验。
*   **虚拟现实与元宇宙** 为构建更加沉浸式、动态的虚拟世界提供了强大的视频生成能力。



字节跳动凭借其在短视频领域的深厚积累和算法优势，进军 AI 视频生成，无疑将加速这一领域的竞争与创新。 Seedance 1.0 的出现，标志着 AI 视频生成技术正从简单的视觉呈现迈向复杂的智能叙事，未来，我们或许能看到更多由 AI 驱动的精彩故事呈现在屏幕上。


字节 Seedance 1.0 发布 支持多镜头叙事的视频生成模型

> 近日，DreamTech联手南大、复旦、牛津发布的一款名为Direct3D-S2的革命性 3D 生成模型宣布全面开源，其在多个基准测试中展现出影视级的生成效果，甚至超越了闭源模型，仅用 8 块 GPU 便登顶 Hugging Face 排行榜，预示着 3D 内容生成领域的新突破。



在人工智能飞速发展的今天，AI 在文本、图像、视频生成领域已取得令人瞩目的成就。然而，作为下一个前沿阵地，3D 内容的生成一直面临巨大的挑战。 如今，这一局面正被一款名为 **Direct3D-S2** 的模型所改变。 它不仅实现了影视级别的 3D 生成效果，更以全面开源的姿态，仅用 8 块 GPU 便在 Hugging Face 排行榜上超越了众多闭源模型，加冕“3D 生成新王”。[HuggingFace在线体验Demo](https://huggingface.co/spaces/wushuang98/Direct3D-S2-v1.0-demo)

![image.png](https://static.downly.cn/images/36cdd17b6e3d9c30072d2a66fa030f13.png)

Direct3D-S2 的开源，无疑为 3D 内容创作、游戏开发、元宇宙构建等领域带来了革命性的机遇。 它降低了 3D 内容生成的门槛，使得更多开发者和研究人员能够接触并利用这一前沿技术。
[官网](https://www.neural4d.com/)
![image.png](https://static.downly.cn/images/84327a4e9f2c2591705d92ca741f86ab.png)
### 挑战与突破 3D 生成的“卡脖子”难题

传统的 3D 内容生成，无论是建模还是动画，都依赖于专业软件和大量人工。 即便 AI 参与，也面临着诸多难题

*   **数据稀缺与标注复杂** 相比于 2D 图像，3D 数据集的获取和标注成本极高。
*   **模型复杂性与计算成本** 3D 模型的表示方法多样（点云、网格、体素等），生成高质量、高细节的 3D 内容需要巨大的计算资源。
*   **效果真实性与泛化能力** 现有模型往往难以生成具有真实感、细节丰富且能够泛化到不同场景的 3D 内容。

Direct3D-S2 正是在这些挑战中取得了突破。 它结合了最新的扩散模型技术与多视图几何、神经渲染等先进理念，实现了从文本或图像到高质量 3D 模型的直接生成。
注意：以 512 分辨率生成至少需要 10GB 的 VRAM，而 1024 分辨率需要大约 24GB 的 VRAM。我们不建议以 512 分辨率生成模型，因为这只是 1024 模型的中间步骤，质量明显较低。

### Direct3D-S2 的核心技术揭秘

Direct3D-S2 能够实现影视级 3D 生成，其核心技术在于以下几点

*   **高效的 3D 表示学习** 模型能够有效学习和表示 3D 空间中的复杂几何与纹理信息，从而生成高保真度的 3D 模型。
*   **多视图一致性优化** 通过在训练过程中引入多视图几何约束，确保生成的 3D 模型在不同视角下都具有良好的连贯性和真实感，解决了传统 3D 生成中常见的“鬼影”或“崩坏”问题。
*   **先进的扩散模型** 借鉴了 2D 图像生成领域的成功经验，Direct3D-S2 将扩散模型引入 3D 生成，通过迭代去噪过程逐步生成高质量的 3D 内容。
*   **优化的训练策略** 论文中详细描述了其训练策略，包括如何有效利用现有 2D 数据进行蒸馏，以及如何进行高效的 3D 数据增强，从而在有限的计算资源下实现卓越性能。

![image.png](https://static.downly.cn/images/45709b164f70e428c89a868def28e725.png)

### 性能惊艳 8 块 GPU 登顶 Hugging Face

Direct3D-S2 的性能表现令人震撼。 在多个权威的 3D 生成基准测试中，它不仅超越了此前表现优异的众多开源模型，甚至在许多关键指标上胜过了闭源解决方案。

更令人惊叹的是，这一卓越的性能是在相对有限的计算资源下实现的。 官方数据显示，仅需 8 块 GPU，Direct3D-S2 便能完成训练并展现出顶尖的生成能力。 这对于个人开发者和中小企业而言，无疑是巨大的福音，极大地降低了参与 3D 内容生成前沿研究和应用的门槛。

在 Hugging Face 平台上，Direct3D-S2 凭借其高质量的生成效果和高效的训练推理能力，迅速获得了社区的认可，成功登顶相关排行榜，成为 3D 生成领域的新标杆。

### 颠覆未来 3D 内容创作的无限可能

Direct3D-S2 的全面开源，其影响力将是深远的

*   **赋能游戏与影视行业** 开发者可以快速生成高质量的 3D 资产、场景，大幅缩短游戏和影视作品的制作周期和成本。
*   **加速元宇宙构建** 为元宇宙中的虚拟形象、物品、环境等 3D 资产的快速生成提供了强大工具，推动虚拟世界的建设。
*   **推动 VR/AR 发展** 高质量的 3D 模型能够为 VR/AR 应用提供更沉浸、更真实的体验。
*   **激发学术研究** 开源代码和模型将吸引更多研究人员投入到 3D 生成领域，共同探索更先进的技术。

<video src="https://static.downly.cn/images/55c830acc95a9f8603688a648fdda517.mp4"  title="civitai_house0.mp4"></video>

Direct3D-S2 的出现，标志着 3D 内容生成技术正在从实验室走向实际应用，从高门槛走向普惠。 它不仅仅是一款模型，更是开启 3D 创作新时代的钥匙。 我们可以预见，在不久的将来，通过简单的文本描述或图像输入，便能生成栩栩如生的 3D 世界，将不再是梦想。



影视级 3D 生成新王 Direct3D-S2 全面开源 8 块 GPU 超越闭源登顶 HF

> 在人工智能驱动的数字内容生成领域，如何让虚拟形象更加生动、自然地与用户互动，一直是技术探索的热点。近日，腾讯混元大模型团队推出了一个重磅开源项目——HunyuanVideo-Avatar。这项技术的核心在于能够仅凭一段语音，就驱动生成具有丰富表情和自然口型变化的数字人视频。这一创新不仅极大地降低了数字人视频制作的门槛，更为虚拟直播、教育、娱乐等多个领域带来了全新的可能性，标志着语音驱动数字人技术迈入了新的阶段。


腾讯混元大模型团队在人工智能领域持续发力，继文本生成图片、视频生成等技术之后，再次向开源社区贡献了重要的研究成果——HunyuanVideo-Avatar。这一项目的开源，旨在 democratize（民主化）数字人视频的生成过程，让更多开发者和使用者能够轻松地利用语音来驱动虚拟形象的生成。

![image.png](https://static.downly.cn/images/20250529032514.968715463.png)

HunyuanVideo-Avatar 的核心功能正如其名 所言，能够实现“语音驱动生成数字人”。这意味着用户不再需要复杂的 3D 建模、动作捕捉或专业的视频编辑技能，只需要提供一段音频，系统就能够根据语音的内容、情感和语速，自动生成一个数字人说话的视频。这无疑是一项具有颠覆性的技术，将极大提升内容创作的效率和便捷性。

<video src="https://static.downly.cn/images/20250529085234.658090026.mov" controls width="70%" title="teaser.mov"></video>

在线测试HunyuanVideo-Avatar：[https://hunyuan.tencent.com/modelSquare/home/play?modelId=126](https://hunyuan.tencent.com/modelSquare/home/play?modelId=126)

## 技术揭秘 语音如何“驱动”数字人

实现从音频到数字人视频的无缝转换，需要跨越多模态技术的壁垒。HunyuanVideo-Avatar 在技术上可能采用了以下几个关键组成部分


*   **语音特征提取与分析** 系统首先需要对输入的语音进行深入分析，提取出语音的语言内容、语调、情感以及与口型运动相关的声学特征。
*   **面部动作与表情生成** 基于语音特征，模型需要推断出数字人相应的面部动作、表情变化以及最关键的——口型变化。这需要对人脸的肌肉运动和语音发声机制有深刻的理解。
*   **图像生成与渲染** 最后，模型将生成或操纵数字人的图像，使其面部表情和口型与分析出的语音特征同步，最终输出一段连贯自然的数字人视频。

![image.png](https://static.downly.cn/images/20250529032542.076218755.png)

为了确保生成视频的自然度和逼真度，HunyuanVideo-Avatar 可能采用了先进的深度学习模型，如基于 Transformer 的架构、生成对抗网络（GAN）或扩散模型，并结合了大量的多模态数据集进行训练。[论文](https://arxiv.org/pdf/2505.20156)中可能详细描述了其具体的模型结构和训练策略，例如可能采用了创新的注意力机制来对齐语音和视觉特征，或者使用了新的损失函数来优化生成视频的质量和一致性。

## 开源的价值 普惠 AI 的重要一步

腾讯选择将 HunyuanVideo-Avatar 开源，具有重要的战略意义和社区价值
<video src="https://static.downly.cn/images/20250529082542.256822829.mp4" controls width="70%" title="黑白相声-2.mp4"></video>

*   **加速技术普及与应用** 开源使得更多的开发者和研究机构能够接触和使用这一先进技术，基于其进行二次开发和创新应用，从而加速语音驱动数字人技术的普及和落地。
*   **激发社区创新活力** 开源社区的力量是巨大的。 全球的开发者可以共同对 HunyuanVideo-Avatar 进行改进、优化和拓展功能，推动技术的快速迭代和演进。
*   **构建开放生态** 腾讯通过开源，有助于构建一个围绕混元大模型和数字人技术的开放生态系统，吸引更多合作伙伴共同参与，共同推动产业发展。
*   **提升技术透明度** 开源有助于提高技术的透明度，让使用者更加了解模型的原理和潜在限制，促进技术的健康发展。

![image.png](https://static.downly.cn/images/20250529032750.526292890.png)

HunyuanVideo-Avatar 的开源，是腾讯在践行“科技向善”理念、推动 AI 普惠化方面的重要一步，为降低数字内容创作门槛、赋能更多个体和企业提供了强大的工具。


## 广泛应用前景 数字人进入千家万户

HunyuanVideo-Avatar 的出现，将极大地拓展数字人的应用边界，为各行各业带来新的机遇
<video src="https://static.downly.cn/images/20250529083258.269327757.mp4" controls width="70%" title="女声田野独唱.mp4"></video>
*   **虚拟直播** 个体创作者和品牌可以快速生成具有个性化形象的虚拟主播，降低直播成本，提升内容吸引力。
*   **在线教育** 创建生动有趣的数字老师，根据学生的语音输入进行互动式教学。
*   **客服与导览** 生成智能数字客服或虚拟导览员，提供更加人性化的服务体验。
*   **娱乐与营销** 制作创意短视频、广告或虚拟偶像，进行更具互动性和趣味性的内容传播。
*   **个人表达与社交** 未来用户甚至可以轻松创建自己的数字分身，用于社交互动和内容分享。

![image.png](https://static.downly.cn/images/20250529032918.759711415.png)

凭借语音驱动这一便捷高效的方式，HunyuanVideo-Avatar 有望让数字人不再是高门槛的技术，而是人人都可以轻松使用的工具，真正让数字人“走进千家万户”。
<video src="https://static.downly.cn/images/20250529083247.466789044.mp4" controls width="70%" title="女声吉他独唱森林火焰.mp4"></video>

## 本地部署

需要支持CUDA的NVIDIA GPU
  - 该模型在8GPU的机器上进行了测试。
  - **最低配置**：生成720px1280px129帧视频所需的最小GPU内存为24GB，但速度很慢。
  - **推荐配置**：我们建议使用80GB显存的GPU以获得更好的生成质量。
- 测试过的操作系统：Linux

### 🛠️ 依赖项和安装

首先克隆仓库：

```shell
git clone https://github.com/Tencent/HunyuanVideo-Avatar.git
cd HunyuanVideo-Avatar
```

### Linux安装指南

我们推荐使用CUDA 12.4或11.8版本进行手动安装。

Conda的安装说明可在[这里](https://www.anaconda.com/docs/main)找到。

```shell
# 1. 创建conda环境
conda create -n HunyuanVideo-Avatar python==3.10.9

# 2. 激活环境
conda activate HunyuanVideo-Avatar

# 3. 使用conda安装PyTorch和其他依赖
# 对于CUDA 11.8
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=11.8 -c pytorch -c nvidia
# 对于CUDA 12.4
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia

# 4. 安装pip依赖
python -m pip install -r requirements.txt
# 5. 安装flash attention v2以加速（需要CUDA 11.8或更高版本）
python -m pip install ninja
python -m pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

如果在特定GPU类型上遇到浮点异常（核心转储），您可以尝试以下解决方案：

```shell
# 方案1：确保您已安装CUDA 12.4、CUBLAS>=12.4.5.8和CUDNN>=9.00（或直接使用我们的CUDA 12 docker镜像）
pip install nvidia-cublas-cu12==12.4.5.8
export LD_LIBRARY_PATH=/opt/conda/lib/python3.8/site-packages/nvidia/cublas/lib/

# 方案2：强制显式使用CUDA 11.8编译版本的PyTorch和所有其他包
pip uninstall -r requirements.txt  # 卸载所有包
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install ninja
pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
```

此外，您也可以使用混元视频Docker镜像。使用以下命令拉取并运行docker镜像。

```shell
# 对于CUDA 12.4（更新以避免浮点异常）
docker pull hunyuanvideo/hunyuanvideo:cuda_12
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_12
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2

# 对于CUDA 11.8
docker pull hunyuanvideo/hunyuanvideo:cuda_11
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_11
pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2
```

### 🧱 下载预训练模型

预训练模型的下载详情请参见[这里](https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar/blob/main/weights/README.md)。

### 🚀 多GPU并行推理

例如，要使用8个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./
export MODEL_BASE="./weights"
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states.pt

torchrun --nnodes=1 --nproc_per_node=8 --master_port 29605 hymm_sp/sample_batch.py \
    --input 'assets/test.csv' \
    --ckpt ${checkpoint_path} \
    --sample-n-frames 129 \
    --seed 128 \
    --image-size 704 \
    --cfg-scale 7.5 \
    --infer-steps 50 \
    --use-deepcache 1 \
    --flow-shift-eval-video 5.0 \
    --save-path ${OUTPUT_BASEPATH} 
```

### 🔑 单GPU推理

例如，要使用1个GPU生成视频，可以使用以下命令：

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-single
checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export DISABLE_SP=1 
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
    --input 'assets/test.csv' \
    --ckpt ${checkpoint_path} \
    --sample-n-frames 129 \
    --seed 128 \
    --image-size 704 \
    --cfg-scale 7.5 \
    --infer-steps 50 \
    --use-deepcache 1 \
    --flow-shift-eval-video 5.0 \
    --save-path ${OUTPUT_BASEPATH} \
    --use-fp8 \
    --infer-min
```

### 低显存运行方案

```bash
cd HunyuanVideo-Avatar

JOBS_DIR=$(dirname $(dirname "$0"))
export PYTHONPATH=./

export MODEL_BASE=./weights
OUTPUT_BASEPATH=./results-poor

checkpoint_path=${MODEL_BASE}/ckpts/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states_fp8.pt

export CPU_OFFLOAD=1
CUDA_VISIBLE_DEVICES=0 python3 hymm_sp/sample_gpu_poor.py \
    --input 'assets/test.csv' \
    --ckpt ${checkpoint_path} \
    --sample-n-frames 129 \
    --seed 128 \
    --image-size 704 \
    --cfg-scale 7.5 \
    --infer-steps 50 \
    --use-deepcache 1 \
    --flow-shift-eval-video 5.0 \
    --save-path ${OUTPUT_BASEPATH} \
    --use-fp8 \
    --cpu-offload \
    --infer-min
```

### 运行Gradio服务器

```bash
cd HunyuanVideo-Avatar

bash ./scripts/run_gradio.sh
```

## 未来展望 AI 驱动数字内容新浪潮

腾讯开源 HunyuanVideo-Avatar，是人工智能驱动数字内容生成浪潮中的一个重要里程碑。它不仅展示了腾讯在多模态 AI 领域的深厚技术积累，更通过开源的方式，将前沿技术分享给全球社区，共同推动数字人技术的创新和应用。

随着技术的不断发展和社区的共同努力，我们可以期待 HunyuanVideo-Avatar 在未来能够支持更多复杂的语音情绪、更细腻的面部表情以及更多样的数字人形象。这场由语音驱动的数字人新浪潮，才刚刚开始，它将深刻改变我们创作、消费和互动数字内容的方式。




腾讯开源 HunyuanVideo-Avatar 语音驱动数字人视频生成



> 在人工智能生成内容（AIGC）的快速发展浪潮中，视频生成一直是公认的挑战高地。以往的 AI 视频生成模型，虽然在画面质量上不断进步，但始终未能解决一个关键性的缺失：声音，尤其是与视频内容同步、自然流畅的语音。如今，Google 推出的新一代视频生成模型 **Veo 3**，通过一项具备划时代意义的突破，彻底改变了这一现状。Veo 3 不仅能够生成高质量、高分辨率的视频，更带来了让视频“会说话”的能力，预示着 AI 内容创作，特别是电影制作领域，即将迎来一场深刻变革。

## 视频生成的关键拼图 声音的缺失

长期以来，AI 视频生成模型主要集中在对视觉元素的建模。它们能够根据文字描述生成令人惊艳的画面，模拟复杂的运动和光影。然而，这些生成的视频往往是“无声电影”，缺乏同步的背景音效，更不用说与画面内容高度匹配、自然真实的语音。

![image.png](https://static.downly.cn/images/20250522063056.831386861.png)

这种声音的缺失，极大地限制了 AI 在电影、短片、动画等需要叙事和对话的内容创作领域的应用潜力。人类的视频体验是视听结合的，声音是传达情感、信息和增强沉浸感不可或缺的一部分。

## Veo 3 的革命性飞跃 让视频“开口说话”

Veo 3 的出现，填补了 AI 视频生成领域长期以来缺失的关键拼图。据 latest 消息显示，Veo 3 最具颠覆性的能力在于其能够根据生成的视频内容，智能地生成匹配的语音。

想象一下 根据一段文字描述生成的电影场景，其中的角色不仅在画面中进行着动作，还能根据剧情和对话生成相应的语音，甚至模拟不同的声音特质和情感表达。这不仅仅是简单的语音合成，而是与视频内容高度同步、具备语境理解能力的语音生成。

![image.png](https://static.downly.cn/images/20250522063145.819731738.png)
这项技术突破意味着 AI 视频生成不再是单一的视觉艺术，而是向着 complete 的多媒体内容创作迈进。它将 AI 生成视频的能力提升到了一个全新的维度，使其能够更好地服务于叙事性内容的需求。

## 背后技术的融合与创新

实现“视频会说话”的能力，需要 AI 模型对视频内容和声音信息进行高度复杂的协同处理。这可能涉及到以下几个层面的技术融合：

*   **高级视频内容理解** 模型需要深入理解视频中的场景、人物、动作以及潜在的叙事意图。
*   **文本-语音同步生成** 将用户输入的文本描述（可能包含对话）与生成的视频画面精确对齐，并生成符合语境的语音。
*   **音色和情感模拟** 更进一步的能力可能包括根据角色设定或场景氛围，生成具有不同音色和情感色彩的语音。

Veo 3 可能融合了 Google 在视频生成、自然语言处理、语音合成以及跨模态建模等多个领域的最新研究成果。这 represents a significant leap forward in building AI models that can understand and generate multimodal content seamlessly。

## AI电影制作新纪元 Veo 3 的广阔应用前景

Veo 3 具备“开口说话”的能力，对其在电影制作、短视频创作和教育等领域的应用潜力产生了 profound 的影响。

### 革新电影制作流程

电影制作中的配音、配乐和音效合成是复杂且耗时的环节。Veo 3 的语音生成能力可以极大地简化甚至自动化某些流程。例如，它可以根据生成的 rough cut 视频初步生成对话和基础音效，帮助导演和剪辑师更快地进行迭代和完善。



### 赋能独立创作者

对于资源有限的独立电影制作人或短视频博主来说，Veo 3 降低了制作高质量、带有完整音轨的视频的门槛。他们可以更专注于创意本身，将繁琐的后期制作部分交给 AI 完成。

### 拓展教育和娱乐体验

在教育领域，Veo 3 可以生成带有讲解或对话的 explanatory 视频，使学习内容更加生动和 engaging。在娱乐领域，它可以用于快速制作带有语音的动画、虚拟角色表演等，丰富用户体验。

## 挑战与未来展望 AI的叙事能力

尽管 Veo 3 实现了革命性的突破，但让 AI 真正像人类一样进行自然的、充满情感的对话生成，并与复杂叙事 perfectly 结合，仍然存在挑战。理解 nuanced 的情感、进行自然的语速和语调变化，以及在多角色对话中保持一致性，都需要 AI 技术的 further advancement。

然而，Veo 3 的“会说话”能力无疑是 AI 内容创作领域的一个 important milestone。它不仅推动了技术的边界，也为人类创作者提供了前所未有的工具，去探索和实现更丰富、更具表现力的视觉叙事。

随着 Veo 3 等先进模型的不断发展，AI 与人类创意的协同将越来越紧密，共同塑造未来的内容创作格局。AI 不再仅仅是图像的画笔或视频的帧生成器，它正逐步成为能够理解并表达“声音”的叙事伙伴。



超越视觉 Google Veo 3 用声音点亮AI视频



> 在人工智能领域，生成模型（Generative Models）是构建能够生成逼真图像、文本、音频等数据的核心技术。其中，扩散模型（Diffusion Models）以其出色的生成质量在图像生成领域取得了 remarkable 成功。然而，扩散模型通常需要经过数百甚至数千步的 iterative process 才能生成一张图像，这 severely limits 其在实时应用中的效率。近期，一项名为 "Mean Flows for One-step Generative Modeling" 的新研究为这一难题提供了 exciting 解决方案。这项研究提出了一种一步即可完成生成过程的新方法，有望 significantly improve 生成模型的速度和 efficiency。

## 扩散模型的高质量与低效率之困

扩散模型的工作原理可以概括为两个阶段：

1.  **扩散过程（Forward Diffusion）** 逐渐向数据（如图像）中添加噪声，直到数据 completely 变为纯噪声。
2.  **去噪过程（Reverse Diffusion）** 训练一个神经网络，学习如何 from 纯噪声中逐步去除噪声，最终恢复出原始数据或生成新的 similar 数据。

![image.png](https://static.downly.cn/images/20250521063308.258192380.png)

扩散模型之所以能够生成高质量的图像， precisely lies in this multi-step iterative refinement process。然而，正是这个 iterative nature 导致了其 computation cost high and generation speed slow， making it challenging for applications requiring fast generation，比如 interactive content creation or real-time simulation。

## Mean Flows 新思路 一步完成生成

"Mean Flows for One-step Generative Modeling" 研究的核心思想是 **设计一种一步到位（one-step）的生成过程**， directly mapping 纯噪声到目标数据分布。为了实现这一目标，研究人员引入了 **Mean Flows** 的概念。

### Mean Flows 的核心概念

Mean Flows 是一种 continuous-time generative model。与扩散模型在数据空间中逐步去噪不同，Mean Flows directly model the evolution of the **mean** of the data distribution over time。可以理解为，它学习了一个直接将噪声分布的均值“推”向目标数据分布均值的连续过程。

![image.png](https://static.downly.cn/images/20250521063421.997969181.png)

通过学习这个 "Mean Flow"，模型可以在 given a random noise sample 的情况下，一步计算出 corresponding data sample， thereby eliminating the need for the time-consuming iterative process of diffusion models。

### 实现 One-step 生成的关键

实现一步生成的关键在于如何有效地学习和表示这个 Mean Flow。研究人员可能采用了 novel neural network architectures or training objectives to capture the direct mapping from noise to data mean。这可能 involved techniques from optimal transport, score matching, or flow-based models。

## 实验结果 impressive 高质量与高效率兼得

该研究在多个标准数据集上对 Mean Flows 方法进行了 comprehensive evaluation。实验结果表明，Mean Flows 在实现一步生成的同时，能够保持与多步扩散模型 competitive 的生成质量。

### 生成速度大幅提升

由于只需一步完成生成，Mean Flows 在生成速度上比传统的扩散模型有了 dramatic improvement。这使得它 potential for real-time applications 成为可能。

### 生成质量与多步模型媲美

令人惊喜的是，尽管采取了一步生成的方式，Mean Flows 生成的图像在 visual fidelity and diversity 上能够与需要数百步的扩散模型相媲美。这表明 Mean Flows 成功捕捉到了复杂的数据分布结构。

![image.png](https://static.downly.cn/images/20250521063455.960923223.png)

These results demonstrate the potential of Mean Flows to overcome the speed limitation of diffusion models without sacrificing generation quality。

## 开启生成模型新篇章

"Mean Flows for One-step Generative Modeling" 这项研究 for the field of generative models 开辟了 exciting new avenues。

### 实时生成应用潜力巨大

一步生成的能力使得 Mean Flows 在需要 low latency 的应用中具有 enormous potential，比如实时视频生成、虚拟现实内容创建、快速原型设计等。

### 理论研究价值深远

Mean Flows 提出的新颖建模思路， 也为 generative modeling 的理论研究提供了 fresh perspective。深入理解 Mean Flows 的工作原理，有助于开发更多 efficient and effective 的生成模型。

### 与现有技术的结合

Mean Flows 也可能与现有的生成模型技术相结合， 例如，可以作为扩散模型去噪过程的 accelerated version， 或者与其他类型的生成模型共同使用以进一步提升性能。

这项研究的提出， 为平衡生成模型的质量和效率提供了 a promising direction。Mean Flows 有望成为下一代高性能生成模型的 building block， 推动人工智能在内容生成领域的 further advancement。



告别慢速 生成模型提速新利器 Mean Flows实现一步生成

Hedra

Stability AI推出的AI视频生成工具

Stable Video

D-ID

AI数字人视频生成平台，由出门问问推出

奇妙元

StabilityAI推出的文本到图像生成AI

Stable Diffusion

HunyuanVideo-Avatar

一站式动画故事AI视频生成平台

Pixfun

Flow Studio

Pika Labs推出的AI视频生成和编辑工具

Pika

AI视频工具，绿幕抠除、视频生成、动态捕捉等功能

Runway

Sora

商汤科技推出的可控人物视频生成AI模型

Vimi

爱诗科技推出的AI视频生成工具

PixVerse

阿里达摩院推出的大小模型协同的智能助手，具备作诗、绘画、视频生成、语音播放等多模态能力

魔搭GPT（ModelScopeGPT）

AI视频生成和重绘工具，支持文本/图像转视频

Haiper

潞晨科技推出的多功能AI视频生成平台

Video Ocean

MiniMax公司推出的AI视频生成工具

海螺AI视频

字节跳动推出的AI大模型家族，包括视频生成、语音视觉、通用语言模型等

搜索结果: 视频生成