ComfyUI

Stable Diffusion

> AI领域竞争白热化，苹果与微软分别推出创新模型TarFlow与Mu，前者革新图像生成技术，后者则以极小体量赋能Windows智能体。同时，AI的应用边界持续拓宽，从Grok进军电子表格编辑，到GPT-4助力癌症新药研发，再到ElevenLabs发布语音优先的AI助理。然而，行业发展也伴随着法律挑战，迪士尼已就版权问题向Midjourney等AI公司提起诉讼。此外，OpenAI与Jony Ive公司合作开发AI硬件的消息，预示着AI的下一战场可能转向实体设备。

## 苹果另辟蹊径 发布AI生图新模型TarFlow

苹果公司在AI图像生成领域展示了其独特的思考，发布了基于“归一化流”（Normalizing Flows）技术的全新模型TarFlow与STARFlow。与主流的扩散模型不同，TarFlow通过分块生成像素来保证高质量输出，避免了传统方法中可能出现的质量损失。其姊妹模型STARFlow则在潜空间中运行，并能调用外部大语言模型来更精准地理解和处理复杂的文本提示，显著提升了生成效率与图像质量。
![image.png](https://static.downly.cn/images/267d19af1b5363b96a53993f3352c7cc.png)

## 微软发布3亿参数“微”模型Mu 专为Windows智能体打造

微软推出了一款参数仅为3.3亿的创新小型模型Mu，其性能却能与体量是其十倍的Phi-3.5-mini相媲美。该模型专为本地化部署而优化，在离线的NPU设备上能实现每秒超过100个token的惊人响应速度。Mu借鉴了Phi Silica架构，并引入双重层归一化、旋转位置嵌入等先进技术，使其能够通过自然语言指令直接操作Windows系统设置。经过大规模数据微调，Mu已将操作响应时间成功控制在500毫秒以内，极大地提升了Windows系统的易用性和智能化水平。

![iShot_2025-06-24_11.02.06.png](https://static.downly.cn/images/2e91b686cc69d9c34d2c779e94776477.png)

## 开源新星 OmniGen2 用自然语言“指点江山”精修图像


OmniGen2作为开源社区中Flux Context的有力替代者，为用户提供了强大的自然语言图像编辑能力。用户只需通过简单的文字指令，即可对图像进行精准的局部编辑，包括删除或替换对象、进行风格转换、调整颜色、处理背景、添加新物品，甚至修改人物的表情和动作。目前，该模型的权重已在[Hugging Face Space](https://huggingface.co/spaces/OmniGen2/OmniGen2)上公开发布，供广大开发者和爱好者体验。

![image.png](https://static.downly.cn/images/38fb68246c1a6bae554e293f4172cdc6.png)

## 版权保卫战打响 迪士尼正式起诉Midjourney

随着AI生成内容的普及，版权问题日益凸显。娱乐巨头迪士尼已采取法律行动，正式起诉Midjourney等AI公司，指控其未经许可使用迪士尼的知识产权进行模型训练和图像生成。此举标志着内容创作者与AI技术公司之间的法律战火正在升级。在积极维权的同时，迪士尼也在与OpenAI等公司进行合作洽谈，旨在探索在保护自身版权角色和IP的同时，利用AI技术发展的可能性。

![iShot_2025-06-24_11.04.48.png](https://static.downly.cn/images/38fb68246c1a6bae554e293f4172cdc6.png)

## 法庭文件曝光 OpenAI联手苹果前设计总监Jony Ive秘密研发AI硬件

一则法庭文件意外揭示，OpenAI正与苹果公司的前首席设计官Jony Ive创办的设计公司io进行深度合作，共同为一款面向大众市场的AI硬件设备进行技术研发。这一消息源于io公司针对另一家初创公司iyO提起的商标纠纷诉讼。此次合作曝光，意味着OpenAI的野心已不止于软件层面，正试图将AI能力封装到专门的硬件中，这可能预示着下一代消费级智能设备的到来。




## Grok亮剑生产力工具 挑战微软与谷歌的电子表格霸权

根据最新泄露的信息，马斯克旗下的xAI公司正为Grok开发一项强大的新功能——支持电子表格的高级文件编辑器。此举旨在将Grok这一强大的AI助手深度集成到日常的生产力工具中，直接向微软的Excel和谷歌的Sheets等传统办公软件发起挑战。通过赋能电子表格处理能力，Grok希望在AI驱动的生产力赛道上与OpenAI、Google和Microsoft展开激烈竞争。

![]([object Object])![iShot_2025-06-24_11.09.17.png](https://static.downly.cn/images/a36a0be1b906c96e6cc059809aafaf51.png)

## AI成抗癌新希望 GPT-4成功发现乳腺癌协同治疗新方案

剑桥大学等研究机构的一项突破性研究显示，大型语言模型在攻克癌症方面展现出巨大潜力。研究人员利用GPT-4分析海量医学文献和数据，成功提出了一种全新的乳腺癌协同治疗方案。该方案创新性地组合了辛伐他汀和双硫仑等非传统抗癌药物，并通过实验验证了其有效性。这一成果为利用AI进行新药研发开辟了全新路径，展示了AI“发明”新疗法的可能性。

![iShot_2025-06-24_11.09.54.png](https://static.downly.cn/images/3599ff0226db21a87c89c156e9dc4a2a.png)

## 苹果收购版图再添变数 与Mira Murati新公司谈判破裂

据报道，苹果公司此前曾与前OpenAI首席技术官Mira Murati创立的人工智能公司Thinking Machines Lab进行过收购洽谈。这家新公司的估值高达100亿美元，致力于使AI系统更易于被人类理解和定制。然而，最新的消息显示，双方的谈判并未达成协议，最终以破裂告终。目前，苹果公司正将评估的目光转向另一家AI搜索公司Perplexity，其在AI领域的布局策略依然充满变数。




## 4K画质一键达成 Astra为AI视频创作者推出超分辨率工具
![iShot_2025-06-24_11.04.48.png](https://static.downly.cn/images/38fb68246c1a6bae554e293f4172cdc6.png)
一款名为[Astra](https://astra.app/)的专业级AI视频超分辨率工具正式上线。该工具利用先进的AI技术，能够智能地将低分辨率的视频素材提升至清晰的4K画质，旨在解决AI视频创作者在内容生产最后环节的画质难题。尽管其功能相对单一，且标准版月费为39美元（约合人民币280元），价格不菲，但它为追求极致画质的用户提供了一个有效的解决方案。

![iShot_2025-06-24_11.12.27.png](https://static.downly.cn/images/bd8603c8e8dd189a00c4f6c4a595614f.png)

## ElevenLabs发布语音优先AI助理11ai 支持超5000种声音

以语音技术闻名的ElevenLabs公司发布了其全新的AI个人助理——11ai。这款助理主打“语音优先”的交互体验，并集成了强大的多工具集成能力和自定义MCP支持，允许用户创建高度个性化的工作流程。11ai具备日程管理、实时搜索和团队协作等核心生产力功能，支持超过5000种声音和70多种语言，其强大的多模态交互能力使其成为提升全球用户工作效率的强大工具。

AI每日资讯0624

> 今天的AI前沿资讯。从Adobe的实时视频生成，到NVIDIA的光影魔法，再到Hugging Face的亲民微调教程，今天的科技界可谓是精彩纷呈。无论是专业开发者还是普通爱好者，都能在今天的快讯中找到属于自己的惊喜。让我们一起来看看都有哪些不容错过的亮点吧！

---

## Adobe亮剑视频生成！Self Forcing模型实现4090显卡实时出片，人人都是特效师

> Adobe最新发布的Self Forcing模型，标志着实时视频生成技术的新突破。该模型基于Wang 2.1架构，实现了在单张RTX 4090消费级显卡上的流畅运行，并已开放线上试用，让更多创作者能够亲身体验其强大的功能。

### Self Forcing 核心技术解析

Adobe推出的Self Forcing模型，其技术核心是建立在先进的Wang 2.1架构之上。这一架构专为流式视频生成进行了优化，意味着模型能够一边接收输入指令，一边连续不断地生成视频帧，从而达到“实时”的效果。这与传统模型需要等待完整指令后才能开始渲染的方式截然不同，为即时互动和直播等场景提供了可能。

![image.png](https://static.downly.cn/images/047efc3d48e72798bdc15fd5ff06e0ff.png)

### 硬件亲民化的重要一步

以往，高质量的AI视频生成往往需要庞大的计算资源，通常是数据中心级别的服务器集群。而Self Forcing模型最大的亮点之一，就是它对硬件的优化。官方宣称，该模型可以在单张NVIDIA RTX 4090显卡上高效运行。这使得拥有高端PC的个人开发者、设计师和内容创作者，也能够接触并使用前沿的AI视频生成技术，极大地降低了技术门槛。

### 在线试用与未来展望

为了让更多用户感受Self Forcing的魅力，Adobe已经提供了在线试用入口。用户可以通过官方渠道访问并体验这一模型的实时生成能力。这一举措不仅展示了Adobe对自身技术的信心，也预示着AI视频生成工具将加速融入普通人的创作流程中，未来我们可能会看到更多由AI实时生成的短视频、直播背景甚至互动电影。
[试用地址](https://huggingface.co/spaces/multimodalart/self-forcing)

---

## 挑战Whisper霸主地位！Kyutai发布开源极速STT模型，实时语音转写新选择

> 法国AI初创公司Kyutai推出了一款名为Kyutai Speech-To-Text（STT）的开源模型，以其惊人的速度和超越Whisper Large v3的性能，为语音转文本领域带来了新的标杆。该模型特别优化了实时流式处理，并提供了针对不同需求的版本。

### 性能卓越 超越Whisper

Kyutai Speech-To-Text模型在发布之初就将目标对准了行业标杆OpenAI的Whisper。根据官方公布的数据，其纯英语的2.6B参数版本，在多项评测基准上表现优于Whisper Large v3。这不仅体现在转写的准确率上，更体现在其“极速”的特性上，无论是处理已有的音频文件（批量推理），还是进行实时的语音流转写（流式推理），都展现出了顶级的性能。

![image.png](https://static.downly.cn/images/99f96be5cb2ecec3b5f806a8ddda16bc.png)


### 两种模型版本 各有侧重

为了满足不同场景的需求，Kyutai贴心地推出了两个版本：
*   **2.6B参数模型** 这是一个纯英语模型，性能强劲，是追求最高转写质量和速度的用户的首选。
*   **1B参数模型** 这是一个更轻量级的双语模型，专为英语和法语的实时语音聊天场景优化。它在保持较低延迟的同时，实现了高效的双语识别，非常适合跨语言交流工具的开发。

### 开源精神与应用前景

Kyutai STT模型选择完全开源，开发者可以在其官方渠道（如Hugging Face）轻松获取模型和相关代码。这意味着任何开发者都可以自由地使用、修改和集成这个强大的工具。尽管目前模型暂不支持中文，但其出色的架构和性能为多语言语音识别领域注入了新的活力，未来有望通过社区的力量扩展到更多语种。

[官方链接](https://kyutai.org/next/stt)

---

## 后期制作的魔法！NVIDIA UniRelight一键重塑视频光影，废片变大片

> NVIDIA AI团队再次展示其技术实力，推出名为UniRelight的通用视频重照明技术。这项基于扩散模型的技术，能够仅凭单张参考图或一段视频，就对目标视频实现逼真、高质量的动态光影重塑，为影视后期和内容创作带来了革命性的工具。

### UniRelight 是什么

UniRelight是一项创新的“通用重照明”技术。简单来说，它允许创作者在视频拍摄完成之后，像编辑照片一样，任意改变视频中的光照效果。无论是想把白天变成黑夜，还是为场景添加一盏虚拟的、动态移动的灯光，UniRelight都能通过AI计算，生成符合物理规律的、自然的光影变化，极大地丰富了后期创作的可能性。



### 扩散模型的魔力

这项技术的核心驱动力是扩散模型（Diffusion Model）。模型通过学习海量数据，理解了光线与物体表面材质、场景深度之间的复杂关系。当用户提供一张参考图片（例如一张日落的照片）时，UniRelight就能“理解”其中的光照风格，并将其应用到目标视频的每一帧中，同时确保光影的连续性和真实感。

### 应用场景与开源计划

UniRelight的应用前景极为广阔。对于电影制作，它可以大幅降低现场布光的成本和难度；对于短视频创作者，它可以轻松为普通视频增添“电影感”；对于游戏开发，它可以用于生成更真实的环境光照。NVIDIA已经表示，该技术的代码即将开源，这意味着它将很快成为广大开发者和创作者可以使用的强大工具。目前，官方网站已展示了大量惊艳的效果案例供业界参考。

[官方链接](https://research.nvidia.com/labs/toronto-ai/UniRelight/)

---

## 一张图、一段话，AI帮你拍广告！HeyGen新功能让产品视频制作进入“傻瓜”模式

> AI视频生成平台HeyGen再次降低内容创作门槛，推出了全新的AI广告生成工具。现在，用户仅需三步——上传产品图、选择虚拟形象、输入文案，即可快速生成一段专业的带货或产品介绍视频，彻底改变了传统营销视频的制作模式。

### 三步搞定产品视频

HeyGen新推出的产品植入功能，主打的就是极致的简洁与高效。整个创作流程被简化为三个核心步骤：
1.  **提供产品照片** 用户上传自己需要推广的产品的清晰图片。
2.  **选择人物形象** 在HeyGen提供的多种虚拟形象中，选择一个符合品牌调性的“代言人”。
3.  **输入文字脚本** 将产品介绍、广告语等文案输入系统。

完成这三步后，AI会自动将产品照片与虚拟形象融合，并根据脚本生成一段口型精准、动作自然的介绍视频。



### AI如何简化营销流程

这项功能背后，是成熟的AI虚拟人技术和图像处理技术的结合。AI不仅能让虚拟人自然地“说话”，还能智能地将静态的产品图片融入到动态的视频场景中，仿佛虚拟人真的手持产品在进行介绍。对于中小型企业、电商卖家或个人品牌来说，这意味着无需昂贵的拍摄团队、演员和场地，就能快速、低成本地批量生产高质量的营销视频。

### 为谁而生

这个工具的主要受益者是那些需要大量视频内容但预算有限的营销人员和商家。它极大地缩短了从创意到成品的周期，使得测试不同的广告文案、产品卖点和视觉风格变得轻而易举。可以说，HeyGen正在让专业的视频广告制作，变得像制作PPT一样简单。

<video src="https://static.downly.cn/images/d7f27be5bce5805ea5d8006fbee8299a.mp4"  title="30591878914-1-16.mp4"></video>

---

## 10GB显存就能“炼丹”！Hugging Face发布FLUX.1-dev平民级微调教程

> 人人都能微调大模型不再是梦想。Hugging Face近日发布官方教程，手把手教你如何利用QLoRA技术，在仅有10GB显存的消费级显卡上，对强大的文生图模型FLUX.1-dev进行高效微调，极大地降低了AI模型定制化的门槛。

### 主角 FLUX.1-dev模型

FLUX.1-dev 是一个新兴的、强大的文本到图像生成模型。与之前的扩散模型不同，它采用了新的架构，旨在更深刻地理解文本提示的复杂性和细微差别，从而生成更贴合描述的图像。能够对这样的前沿模型进行微调，意味着用户可以训练出具有自己独特风格的“专属AI画家”。

### 核心技术 QLoRA

实现低门槛微调的关键在于QLoRA（Quantized Low-Rank Adaptation）技术。简单来说，它是一种“四两拨千斤”的训练方法。它通过量化和低秩适配技术，在不牺牲太多性能的前提下，大幅减少了模型微调过程中所需要的显存。Hugging Face的教程正是利用了QLoRA，将原本需要专业级硬件才能进行的任务，成功地运行在了仅有10GB显存的消费级显卡上，如RTX 3060 (12GB) 或 RTX 4060 Ti等。
![image.png](https://static.downly.cn/images/94de23f39bcfcf327cc018f38cf20cad.png)


### 教程详解与实践意义

Hugging Face发布的这篇[官方教程](https://huggingface.co/blog/flux-qlora)，详细介绍了整个微调过程的每一步，包括环境配置、加载模型、准备数据集，以及如何使用`diffusers`库来应用QLoRA进行训练。这篇教程的意义非凡，它为广大的AI爱好者、艺术家和独立开发者打开了一扇大门，让他们能够用得起的硬件，去定制和探索最先进的AI模型，从而催生出更多个性化、多样化的AI艺术作品和应用。

AI每日资讯0620

> 近日，阿里巴巴（Alibaba）旗下人工智能团队宣布**开源其多模态大模型 Ming-Omni**。 这一创新模型旨在实现对**图像、文本、音频和视频**等多种模态数据的统一处理和理解，代表着大模型在通向通用人工智能的道路上迈出了重要一步。 



随着人工智能技术的飞速发展，大模型（Large Models）正逐渐从单一模态（如文本或图像）走向多模态，以期更好地理解和应对现实世界的复杂信息。 在这一趋势下，阿里巴巴（Alibaba）旗下的 InclusionAI 团队，近日带来了其重磅研究成果——**开源多模态大模型 Ming-Omni**。
![image.png](https://static.downly.cn/images/8b72ee56a614208e00060303a8a4397f.png)
Ming-Omni 的发布，旨在打破不同数据模态之间的壁垒，实现对**图像、文本、音频和视频**等多种信息形式的统一处理、理解和生成。 这意味着，未来的 AI 系统将能够像人类一样，更全面、更立体地感知和交互世界。



### 核心突破 全模态统一处理

Ming-Omni 的核心亮点在于其卓越的**全模态统一处理能力**。 不同于以往需要为每种模态单独设计模型的做法，Ming-Omni 采用了一种更为通用的架构，能够同时理解和处理来自不同感官的信息。

#### 1. 统一的表示与融合

Ming-Omni 创新性地将文本、图像、音频和视频数据编码为**统一的特征表示**，并通过先进的融合机制，将这些异构信息整合到一起。 这种统一的表示层使得模型能够捕捉不同模态之间复杂的关联和语义信息。

#### 2. 跨模态理解与生成

得益于统一的架构，Ming-Omni 能够实现**深度的跨模态理解**。 例如，它可以根据一段视频和音频，生成相应的文字描述；或者根据一段文字，生成图像和语音。 这种能力为多种创新应用奠定了基础。

#### 3. 大规模数据训练

为了达到如此强大的多模态处理能力，Ming-Omni 在**海量的多模态数据集**上进行了训练。 这些数据涵盖了文本、图像、音频和视频的广泛组合，使得模型能够学习到丰富的世界知识和跨模态的关联规律。

![image.png](https://static.downly.cn/images/956263f5169f3da1b2d0b32ad2edc7eb.png)

### 应用场景 无限可能

Ming-Omni 的多模态能力，使其在多个领域都展现出巨大的应用潜力

*   **智能助理与对话系统** AI 助手将能更好地理解用户的语音指令、识别图片内容，并生成更丰富、更自然的回复，实现更接近人类的交互。
*   **内容创作与编辑** 辅助创作者生成多媒体内容，例如根据文本脚本生成视频草稿，或根据图像生成背景音乐。
*   **多媒体搜索与推荐** 用户可以通过图片、语音或视频片段进行搜索，并获得更精准的多模态搜索结果和推荐。
*   **智能监控与分析** 在安防、医疗等领域，模型可以同时分析视频画面、环境声音和文本信息，进行更全面的事件检测和预警。
*   **教育与娱乐** 提供更沉浸式、交互式的学习体验，或创造更丰富的游戏和虚拟世界内容。

### 开源赋能 推动生态发展

阿里巴巴此次开源 Ming-Omni，无疑将对整个 AI 社区产生深远影响。

*   **加速研究与创新** 为全球的学者和研究人员提供了强大的基座模型，降低了多模态 AI 研究的门槛，促进了更多创新性应用的涌现。
*   **促进产业落地** 开发者可以基于 Ming-Omni 构建定制化的多模态解决方案，加速 AI 技术在各行各业的落地应用。
*   **构建开放生态** 阿里巴巴通过开源，积极构建开放、协作的 AI 生态，与全球开发者共同推动人工智能的进步。

Ming-Omni 的发布，不仅仅是一个模型的开源，更是阿里巴巴在通向通用人工智能道路上迈出的坚实一步。 它为我们描绘了一个未来，AI 将能够以更全面的方式感知、理解和交互世界。



阿里开源Ming-Omni 统一处理图像文本音频视频

> 近日，国内知名 AI 公司 MiniMax正式发布其全新一代 **MiniMax Agent**。 这一智能体不仅实现了**图像生成和多语言支持**两大核心突破，更在**长任务处理和复杂指令理解**方面展现出前所未有的智能，显著提升了 AI 助手的实用性和交互体验。 MiniMax Agent 的上线，标志着其在大模型应用落地方面迈出了坚实一步，预示着更智能、更具生产力的 AI 时代即将到来。


随着人工智能技术的快速发展，大型语言模型（LLM）驱动的 AI Agent（智能体）正成为行业焦点。 这些 Agent 不仅能够理解复杂指令，还能自主规划和执行任务，有望在各个领域提升效率。 国内领先的 AI 公司 MiniMax也紧随其后，正式推出了其功能强大的 [MiniMax Agent](https://agent.minimax.io/)。

MiniMax Agent 的上线，带来了多项令人振奋的突破，特别是其**图像生成能力和多语言支持**，以及在**长任务处理**上的显著提升，使其在智能性和实用性上迈向了新的台阶。

![image.png](https://static.downly.cn/images/4cd600aac043a03e32da3d12d9c9e7ad.png)
[demo地址](https://4cwghqarlq.space.minimax.io/)

### 核心突破 MiniMax Agent的亮点功能

MiniMax Agent 的发布，带来了多项关键能力的升级，使其在同类产品中脱颖而出

#### 1. 集成图像生成能力

MiniMax Agent 首次集成了**图像生成**功能，这使得它不再局限于文字输出。 用户可以通过文字指令，直接让 Agent 生成符合描述的图片。

*   **丰富创意表达** 无论是需要概念图、设计草图，还是进行艺术创作，Agent 都能直接提供视觉内容。
*   **提升交互体验** 用户在与 Agent 交流时，不仅能得到文字回复，还能获得具象化的视觉反馈，增强了交互的丰富性和直观性。

#### 2. 全面支持多语言交互

针对全球用户需求，MiniMax Agent 实现了**多语言支持**。 这意味着它能够理解和生成多种语言的文本和图像，打破了语言障碍。

*   **全球化应用** 便于不同国家和地区的用户使用，拓展了 MiniMax Agent 的应用场景。
*   **跨文化交流** 促进了不同语言背景用户之间的信息互通和协作。



### 智能升级 长任务处理更具优势

除了图像生成和多语言支持，MiniMax Agent 在**长任务处理**方面的进步同样值得关注。 这是衡量一个 Agent 智能水平的关键指标

#### 1. 复杂指令的精准理解

MiniMax Agent 能够更好地理解**用户提供的复杂、多步骤的指令**。 这使得它在处理需要深入思考、分解任务的场景时，表现更为出色。

#### 2. 高效的自主规划与执行

Agent 具备更强的**自主规划能力**，能够将一个大的目标任务分解为多个子任务，并按逻辑顺序逐一执行。 在执行过程中，它还能根据实时情况进行调整和优化。

#### 3. 记忆与上下文维护

在处理长任务时，MiniMax Agent 能够有效**维护上下文信息和长期记忆**。 这使得它在多轮对话或连续操作中，不会“遗忘”之前的指令或生成的内容，保证了任务的连贯性。

这些能力使得 MiniMax Agent 在处理如撰写长篇报告、规划复杂旅行、进行多步骤数据分析等任务时，能够展现出远超传统 AI 助手的智能和效率。

### 应用前景 更智能的AI工作助手

MiniMax Agent 的上线，预示着 AI Agent 将在更多实际场景中发挥重要作用

*   **个人助手** 帮助用户规划日程、管理信息、进行创意设计等。
*   **内容创作** 辅助文案、设计、视频制作等领域的工作者，快速生成各种素材。
*   **跨国交流** 在国际商务、教育、文化交流等领域，提供高效的多语言智能支持。
*   **自动化办公** 简化复杂的工作流程，提升企业和个人的生产力。

MiniMax 正通过持续的技术创新，推动 AI Agent 从简单的问答工具，走向能够真正帮助人类处理复杂事务的智能工作伙伴。



MiniMax Agent上线 图像生成+多语言支持 长任务处理更智能

> 近日，谷歌（Google）重磅宣布，其最新一代文生图模型 **Imagen 4** 正式集成到 Gemini，并向部分 Gemini Advanced 用户开放体验。 作为谷歌迄今为止最强大的图像生成模型，Imagen 4 在图像质量、细节丰富度、提示词理解和一致性方面都取得了显著飞跃，标志着 Gemini 在多模态能力上迈出了关键一步，为用户带来了前所未有的创意生成体验。



人工智能领域的技术浪潮汹涌澎湃，其中文生图模型更是焦点所在。 谷歌在这一领域一直走在前沿，其 Imagen 系列模型以其卓越的图像生成能力而闻名。 如今，这一系列迎来了里程碑式的升级。

近日，谷歌正式宣布，其最新、最强大的文生图模型——**Imagen 4**，已全面集成至其旗舰级多模态AI模型 **Gemini**。 这一激动人心的消息意味着，部分 Gemini Advanced 用户将能够率先体验到 Imagen 4 带来的革命性图像生成能力，为创意表达和内容创作开启了新的篇章。

![image.png](https://static.downly.cn/images/e94af3be26d860a9d8fb576ad758609d.png)

### 性能飞跃 Imagen 4的强大实力

Imagen 4 的推出，并非简单的版本迭代，而是谷歌在图像生成技术上的一次重大突破。 它在多个关键指标上实现了显著提升
![image.png](https://static.downly.cn/images/6766e3650d37f7c8ea5c58448fe55d3b.png)

#### 1. 图像质量登峰造极

Imagen 4 生成的图像在**逼真度、细节丰富度、色彩表现力以及光影效果**上达到了前所未有的水平。 无论是复杂的场景、精细的纹理还是微妙的情绪表达，Imagen 4 都能精准呈现，使得生成图片几乎 indistinguishable from real photos（难以与真实照片区分）。

#### 2. 精准理解复杂提示词

以往的文生图模型在处理长句、复杂概念或多重指令的提示词时，常出现理解偏差。 Imagen 4 则在这方面取得了显著进步，它能够**更准确地解析用户的意图，将复杂的文字描述转化为精准的视觉元素**，大大提高了生成图像与用户预期的匹配度。

#### 3. 增强图像一致性

在生成一系列相关图像或处理同一主题但不同视角的图片时，Imagen 4 展现出卓越的**一致性**。 这对于需要批量生成、保持风格统一的内容创作场景至关重要。 无论是人物特征、物体形态还是场景氛围，都能在不同生成结果中保持高度协调。

#### 4. 安全与伦理考量

谷歌在开发 Imagen 4 的过程中，始终将**安全和负责任的 AI 原则**放在首位。 模型在训练数据和生成内容方面都经过严格的过滤和审查，旨在避免生成有害、偏见或不当内容，确保技术的正面应用。



### Imagen 4如何赋能Gemini

Imagen 4 的集成，无疑是 Gemini 在多模态能力发展上的一个重要里程碑。 这意味着 Gemini 不再仅仅是一个强大的语言模型，它将真正成为一个能够“看图说话”也能“画图说话”的全能型 AI 助手。

*   **更丰富的创意表达** 用户可以直接在 Gemini 中，通过文字描述即可生成高质量的图像，无论是设计草图、艺术创作还是生活场景的想象，都变得触手可及。
*   **提升内容创作效率** 对于营销、设计、媒体等行业从业者，Imagen 4 将大幅提升图像素材的生成效率，降低创作门槛。
*   **多模态交互新体验** 用户可以通过图像向 Gemini 提问，再结合文字生成新的图像，形成更自然、直观的交互体验。

未来，随着 Imagen 4 在 Gemini 中更广泛的应用，我们有望看到更多基于视觉和语言的创新应用涌现。

### 展望 文生图大模型的未来

Imagen 4 登陆 Gemini，不仅是谷歌自身技术进步的体现，更是文生图大模型发展趋势的一个缩影。 随着模型能力的不断增强，对**细节的把握、复杂指令的理解、风格的控制以及伦理安全的考量**将成为竞争的关键。

谷歌正通过持续的技术创新，推动 AI 艺术创作和多模态交互进入一个全新的高度。 Imagen 4 在 Gemini 中的表现，无疑将为我们勾勒出未来 AI 助手的无限可能。


Imagen 4登陆Gemini

> 近日，DreamTech联手南大、复旦、牛津发布的一款名为Direct3D-S2的革命性 3D 生成模型宣布全面开源，其在多个基准测试中展现出影视级的生成效果，甚至超越了闭源模型，仅用 8 块 GPU 便登顶 Hugging Face 排行榜，预示着 3D 内容生成领域的新突破。



在人工智能飞速发展的今天，AI 在文本、图像、视频生成领域已取得令人瞩目的成就。然而，作为下一个前沿阵地，3D 内容的生成一直面临巨大的挑战。 如今，这一局面正被一款名为 **Direct3D-S2** 的模型所改变。 它不仅实现了影视级别的 3D 生成效果，更以全面开源的姿态，仅用 8 块 GPU 便在 Hugging Face 排行榜上超越了众多闭源模型，加冕“3D 生成新王”。[HuggingFace在线体验Demo](https://huggingface.co/spaces/wushuang98/Direct3D-S2-v1.0-demo)

![image.png](https://static.downly.cn/images/36cdd17b6e3d9c30072d2a66fa030f13.png)

Direct3D-S2 的开源，无疑为 3D 内容创作、游戏开发、元宇宙构建等领域带来了革命性的机遇。 它降低了 3D 内容生成的门槛，使得更多开发者和研究人员能够接触并利用这一前沿技术。
[官网](https://www.neural4d.com/)
![image.png](https://static.downly.cn/images/84327a4e9f2c2591705d92ca741f86ab.png)
### 挑战与突破 3D 生成的“卡脖子”难题

传统的 3D 内容生成，无论是建模还是动画，都依赖于专业软件和大量人工。 即便 AI 参与，也面临着诸多难题

*   **数据稀缺与标注复杂** 相比于 2D 图像，3D 数据集的获取和标注成本极高。
*   **模型复杂性与计算成本** 3D 模型的表示方法多样（点云、网格、体素等），生成高质量、高细节的 3D 内容需要巨大的计算资源。
*   **效果真实性与泛化能力** 现有模型往往难以生成具有真实感、细节丰富且能够泛化到不同场景的 3D 内容。

Direct3D-S2 正是在这些挑战中取得了突破。 它结合了最新的扩散模型技术与多视图几何、神经渲染等先进理念，实现了从文本或图像到高质量 3D 模型的直接生成。
注意：以 512 分辨率生成至少需要 10GB 的 VRAM，而 1024 分辨率需要大约 24GB 的 VRAM。我们不建议以 512 分辨率生成模型，因为这只是 1024 模型的中间步骤，质量明显较低。

### Direct3D-S2 的核心技术揭秘

Direct3D-S2 能够实现影视级 3D 生成，其核心技术在于以下几点

*   **高效的 3D 表示学习** 模型能够有效学习和表示 3D 空间中的复杂几何与纹理信息，从而生成高保真度的 3D 模型。
*   **多视图一致性优化** 通过在训练过程中引入多视图几何约束，确保生成的 3D 模型在不同视角下都具有良好的连贯性和真实感，解决了传统 3D 生成中常见的“鬼影”或“崩坏”问题。
*   **先进的扩散模型** 借鉴了 2D 图像生成领域的成功经验，Direct3D-S2 将扩散模型引入 3D 生成，通过迭代去噪过程逐步生成高质量的 3D 内容。
*   **优化的训练策略** 论文中详细描述了其训练策略，包括如何有效利用现有 2D 数据进行蒸馏，以及如何进行高效的 3D 数据增强，从而在有限的计算资源下实现卓越性能。

![image.png](https://static.downly.cn/images/45709b164f70e428c89a868def28e725.png)

### 性能惊艳 8 块 GPU 登顶 Hugging Face

Direct3D-S2 的性能表现令人震撼。 在多个权威的 3D 生成基准测试中，它不仅超越了此前表现优异的众多开源模型，甚至在许多关键指标上胜过了闭源解决方案。

更令人惊叹的是，这一卓越的性能是在相对有限的计算资源下实现的。 官方数据显示，仅需 8 块 GPU，Direct3D-S2 便能完成训练并展现出顶尖的生成能力。 这对于个人开发者和中小企业而言，无疑是巨大的福音，极大地降低了参与 3D 内容生成前沿研究和应用的门槛。

在 Hugging Face 平台上，Direct3D-S2 凭借其高质量的生成效果和高效的训练推理能力，迅速获得了社区的认可，成功登顶相关排行榜，成为 3D 生成领域的新标杆。

### 颠覆未来 3D 内容创作的无限可能

Direct3D-S2 的全面开源，其影响力将是深远的

*   **赋能游戏与影视行业** 开发者可以快速生成高质量的 3D 资产、场景，大幅缩短游戏和影视作品的制作周期和成本。
*   **加速元宇宙构建** 为元宇宙中的虚拟形象、物品、环境等 3D 资产的快速生成提供了强大工具，推动虚拟世界的建设。
*   **推动 VR/AR 发展** 高质量的 3D 模型能够为 VR/AR 应用提供更沉浸、更真实的体验。
*   **激发学术研究** 开源代码和模型将吸引更多研究人员投入到 3D 生成领域，共同探索更先进的技术。

<video src="https://static.downly.cn/images/55c830acc95a9f8603688a648fdda517.mp4"  title="civitai_house0.mp4"></video>

Direct3D-S2 的出现，标志着 3D 内容生成技术正在从实验室走向实际应用，从高门槛走向普惠。 它不仅仅是一款模型，更是开启 3D 创作新时代的钥匙。 我们可以预见，在不久的将来，通过简单的文本描述或图像输入，便能生成栩栩如生的 3D 世界，将不再是梦想。



影视级 3D 生成新王 Direct3D-S2 全面开源 8 块 GPU 超越闭源登顶 HF

> Black Forest Labs 近日发布 Flux Kontext，一款媲美 ChatGPT 图像编辑能力的模型。



在 AI 技术飞速发展的今天，图像编辑领域也迎来了新的突破。 近日，专注于生成式 AI 研究的 Black Forest Labs 宣布推出其最新成果 Flux Kontext。 这款模型被认为是能够与 ChatGPT 等大型语言模型相媲美的图像编辑工具，预示着 AI 在理解和操作图像方面正变得越来越智能。

![image.png](https://static.downly.cn/images/20250530073656.421431040.png)

Flux Kontext 的核心能力在于它能够理解复杂的文本指令，并将其转化为对图像的精确编辑。 这意味着用户可以通过自然语言的方式，向 AI 模型描述他们想要进行的修改，而无需学习繁琐的专业软件操作。

## 强大的图像编辑能力 媲美大模型理解力

Flux Kontext 的亮点在于其对文本指令的理解能力和在图像上执行相应编辑的精确性。 尽管官方可能没有直接将其与 ChatGPT 的所有能力进行对比，但“媲美 ChatGPT”的说法，暗示了 Flux Kontext 在以下方面可能具备出色表现

*   **对复杂指令的理解** 能够理解多步骤、包含多种元素的编辑需求。
*   **上下文感知能力** 考虑图片本身的元素和背景，进行合理的编辑。
*   **创意性编辑** 不仅仅是简单的修改，还能进行风格转换、元素添加或移除等创意性操作。
*   **高保真度输出** 生成的编辑结果在视觉上自然且高质量。

![image.png](https://static.downly.cn/images/20250530073722.160284612.png)

这种媲美大型语言模型的理解力，使得 Flux Kontext 能够处理更加复杂和细致的图像编辑任务，极大地提升了用户的工作效率和创作自由度。

## 潜在应用广泛 设计 创意 艺术领域福音

Flux Kontext 的发布，为多个领域带来了新的可能性，尤其是在需要大量图像编辑工作的场景下。



例如

*   **平面设计** 快速调整图片元素、修改风格、生成不同版本的创意素材。
*   **广告营销** 快速生成符合不同营销需求的视觉内容。
*   **摄影后期** 简化复杂的后期处理流程，通过文本指令完成精细调整。
*   **艺术创作** 将文字描述转化为视觉作品，探索新的艺术表达方式。

Flux Kontext 有望成为设计师、营销人员、摄影师和艺术创作者的强大助手，帮助他们更高效地实现创意。

## AI 赋能图像编辑 未来充满期待

Black Forest Labs 推出 Flux Kontext，是 AI 赋能图像编辑领域的又一重要里程碑。



随着技术的不断进步，我们有理由相信，未来的图像编辑工具将更加智能、易用和强大。 像 Flux Kontext 这样的模型，通过融合大型语言模型的理解力和图像生成编辑能力，正在为我们勾勒出一个充满可能性的未来。 期待 Flux Kontext 能够为图像编辑领域带来更多创新和突破。



**更具吸引力且更贴近文章重点的标题建议**

*   媲美 ChatGPT 的图像编辑神器来了 Black Forest Labs 发布 Flux Kontext
*   告别复杂工具 Black Forest Labs Flux Kontext 让你的文字变成图像魔法
*   AI 图像编辑新高度 Black Forest Labs 推出 Flux Kontext 突破创意边界
*   Flux Kontext 重磅发布 Black Forest Labs 用 AI 重新定义图像编辑
*   你的下一款图像编辑工具？ Black Forest Labs Flux Kontext 带来智能体验



Black Forest Labs 推出 Flux Kontext AI 图像编辑迎来新突破

> 备受瞩目的 NovelAI Diffusion V4.5 完整版，现已正式推出。


对于热爱 AI 绘画的创作者们来说，NovelAI Diffusion 系列模型一直是他们重要的工具。 近日，NovelAI 团队宣布，其最新一代模型 NovelAI Diffusion V4.5 的“完整版（Full）”现已正式上线。 这标志着该模型的研发进入了一个全新的阶段，并有望为用户带来更强大的绘画能力和更优质的生成体验。

![image.png](https://static.downly.cn/images/20250530070730.609056887.png)

此前，NovelAI Diffusion V4.5 可能以预览版或部分功能的形式推出。 而此次发布的“完整版”，通常意味着模型经过了更充分的训练、优化和功能集成，具备了更稳定、更全面的性能表现。

##  更精细的控制与更高质量的图像


*   **更精细的图像细节** 完整版模型通常会展现出对细节更强的把握能力，生成更清晰、更锐利的图像。
*   **更准确的Prompt理解** 对复杂或 nuanced 的提示词有更好的理解，生成结果更贴合用户意图。
*   **更广阔的创作风格支持** 可能在风格、光影、构图等方面提供更丰富的选择和更自然的表现。
*   **更稳定的生成过程** 减少生成失败或出现异常结果的情况，提高生成效率。
*   **潜在的新功能或优化** 可能包含对特定元素、构图方式或交互体验的改进。

![image.png](https://static.downly.cn/images/20250530070712.302369195.png)

这些潜在的改进，都将直接提升用户的使用体验，让 AI 绘画创作变得更加自由和高效。

## 对创作者的意义 释放无限创意潜力

NovelAI Diffusion V4.5 完整版的推出，对于广大 AI 绘画创作者来说具有重要意义。

[插图 创作者使用 NovelAI 进行创作的场景示意图]

它意味着
*   **更高的创作效率** 更快的生成速度和更稳定的结果，让创作过程更顺畅。
*   **更广阔的创作空间** 更强大的模型能力，能够实现更复杂的创意想法。
*   **更高质量的最终作品** 精细的细节和准确的风格，让作品更具表现力。

完整版的发布，无疑为用户提供了更强大的工具，帮助他们打破创作的限制，释放无限的创意潜力。

## 如何体验 立即前往 NovelAI 平台

想要体验 NovelAI Diffusion V4.5 完整版的强大能力？ 用户只需前往 NovelAI 官方平台，即可使用最新版本的 Diffusion 模型进行创作。

![image.png](https://static.downly.cn/images/20250530071646.973316788.png)

随着 AI 技术的不断发展，我们期待 NovelAI Diffusion V4.5 完整版能够为 AI 绘画领域带来新的突破，激发更多令人惊叹的艺术作品。

---

**更具吸引力且更贴近文章重点的标题建议**

*   AI 绘画再升级 NovelAI Diffusion V4.5 完整版现已发布 开启无限创作可能
*   告别限制 NovelAI Diffusion V4.5 Full 版本上线 更高质量 更精细控制
*   画质飞跃 NovelAI Diffusion V4.5 完整版震撼登场 为你的创意加速
*   NovelAI Diffusion V4.5 Full 发布 完整版带来哪些惊喜？ 抢先看
*   你的 AI 画笔更强大了 NovelAI Diffusion V4.5 完整版来了



搜索结果: 图像生成