Clash Verge Rev是ClashX的继任者（Clash  for windows作者Fndroid在国内被抓了），提供了更好的用户体验和功能。

Clash Verge

Ollama

> 近日，Google 悄然发布了一款重磅产品——**Gemini CLI**，这是一个完全开源的命令行 AI 编程工具，直接将 Gemini 2.5 Pro 的强大能力集成到开发者的终端中。更令人惊喜的是，Google 为个人开发者提供了极其慷慨的免费额度：**每天 1000 次请求，每分钟 60 次**，这一举措直接冲击了现有的 AI 编程工具市场格局。

Github：[https://github.com/google-gemini/gemini-cli](https://github.com/google-gemini/gemini-cli)

## 不只是代码补全，更是 AI 智能体

### 🚀 超强免费额度，门槛史上最低

与市面上其他 AI 编程工具相比，Gemini CLI 的免费政策可谓"史无前例"：

- **个人开发者**：通过 Google 账号登录即可获得免费的 Gemini Code Assist 许可
- **请求限制**：每天 1000 次请求，每分钟 60 次
- **模型访问**：完整的 Gemini 2.5 Pro 访问权限
- **上下文窗口**：高达 100 万 token 的超大上下文

这一免费策略直接将 Claude Code 200 美元的订阅费"归零"，让更多开发者能够无门槛体验顶级 AI 编程助手。

![image.png](https://static.downly.cn/images/7ef8620da18d531d45ead37db7bf08d0.png)


### 💡 核心功能 - 全方位开发助手

Gemini CLI 的设计理念是"**终端不仅仅是工具，它是开发者的家**"。该工具提供的核心功能包括：

**1. 智能代码处理**

- 查询和编辑大型代码库，突破传统上下文限制
- 支持自然语言编程，通过对话完成代码编写和调试
- 智能错误检查和修复，自动处理 TypeScript lint 报错

**2. 多模态能力**

- 从 PDF 文档或手绘草图生成完整应用
- 支持图像、视频等多媒体内容的理解和生成
- 集成 Imagen、Veo、Lyria 等 Google 媒体生成工具

**3. 实时信息获取**

- 内置 Google 搜索功能，实时获取最新信息
- 支持联网查询，为代码生成提供最新的技术文档和最佳实践

**4. 工作流自动化**

- 自动化操作任务，如查询 Pull Request、处理代码合并
- 支持脚本集成，可在现有工作流中无缝调用
- 自定义提示词模板，适应个性化开发需求

### 🔧 技术架构 - 开源透明，社区共建

**开源优势**

- 采用 **Apache 2.0 开源协议**，代码完全透明
- 开发者可以审查源代码，验证安全性
- 支持社区贡献，已有 40+ 贡献者参与开发

**扩展能力**

- 支持 **Model Context Protocol (MCP)**，可自由扩展功能
- 通过 GEMINI.md 文件配置系统提示词
- 提供个人和团队两级设置选项



## 直接挑战现有巨头

### 对标 Claude Code - 功能“一比一复刻”

从实际体验来看，Gemini CLI 在界面和功能上几乎完全复刻了 Claude Code，但在某些方面已经实现了超越：

**优势对比**：

- **上下文窗口**：100 万 token vs Claude 的较小窗口
- **联网能力**：内置 Google 搜索 vs Claude 的离线限制
- **价格优势**：完全免费 vs Claude Code 的月费订阅
- **生态整合**：Google 全家桶支持 vs 独立工具



### 挑战 GitHub Copilot - 从补全到智能体

与 GitHub Copilot 的代码补全功能相比，Gemini CLI 提供的是完整的 AI 智能体体验：

**功能差异**：

- **交互方式**：自然语言对话 vs 代码提示补全
- **处理范围**：整个项目架构 vs 单个文件片段
- **任务类型**：全流程开发 vs 代码生成辅助



## 快速上手 - 三步开始使用

### 环境要求

- Node.js 18 或更高版本

### 安装方式

```bash
npx https://github.com/google-gemini/gemini-cli

# 或全局安装
npm install -g @google/gemini-cli
gemini
```

### 认证登录

- 使用个人 Google 账号登录即可获得免费额度
- 高级用户可配置 Google AI Studio API 密钥



## 行业影响

### 开发者社区反应

- **AI Purr-fessor**："每天 1000 次，每分钟 60 次，还是免费的，太疯狂了！"
- **技术博主**："这是 Google 入门级的真实游戏定价策略"
- **早期用户**："体验上已经超越了 Claude Code，特别是在大型项目处理上"

### 潜在风险提醒

业内专家提醒，Google 历史上经常在新产品推出时提供极具吸引力的免费额度，但后续可能会调整政策。建议开发者：

- **尽早体验**：充分利用当前的免费额度
- **关注更新**：密切关注政策变化
- **备选方案**：准备多元化的 AI 工具组合



## 总结

Gemini CLI 的发布标志着 AI 编程工具市场进入了新的竞争阶段。Google 通过开源、免费的策略，直接挑战了现有的商业模式，为开发者提供了更多选择。

**核心优势总结**：

- ✅ **完全免费**：个人开发者零成本使用
- ✅ **开源透明**：代码可审查，安全可信
- ✅ **功能强大**：100 万 token 上下文，多模态支持
- ✅ **生态完整**：Google 全家桶深度整合
- ✅ **社区驱动**：全球开发者共同改进

对于开发者而言，Gemini CLI 不仅仅是一个编程工具，更是一个完整的 AI 工作伙伴。在这个 AI 原生的时代，掌握这样的工具将成为开发者的核心竞争力。

**建议行动**：

1. 立即体验 Gemini CLI，熟悉其功能特性
2. 关注官方更新，了解最新功能发布
3. 参与社区建设，贡献代码或反馈问题
4. 探索与现有工作流的整合方案

AI 编程的未来已来，而 Gemini CLI 可能就是那个改变游戏规则的关键工具。

Google 重磅发布 - Gemini CLI 开源免费，直接挑战 Claude Code

> AI领域竞争白热化，苹果与微软分别推出创新模型TarFlow与Mu，前者革新图像生成技术，后者则以极小体量赋能Windows智能体。同时，AI的应用边界持续拓宽，从Grok进军电子表格编辑，到GPT-4助力癌症新药研发，再到ElevenLabs发布语音优先的AI助理。然而，行业发展也伴随着法律挑战，迪士尼已就版权问题向Midjourney等AI公司提起诉讼。此外，OpenAI与Jony Ive公司合作开发AI硬件的消息，预示着AI的下一战场可能转向实体设备。

## 苹果另辟蹊径 发布AI生图新模型TarFlow

苹果公司在AI图像生成领域展示了其独特的思考，发布了基于“归一化流”（Normalizing Flows）技术的全新模型TarFlow与STARFlow。与主流的扩散模型不同，TarFlow通过分块生成像素来保证高质量输出，避免了传统方法中可能出现的质量损失。其姊妹模型STARFlow则在潜空间中运行，并能调用外部大语言模型来更精准地理解和处理复杂的文本提示，显著提升了生成效率与图像质量。
![image.png](https://static.downly.cn/images/267d19af1b5363b96a53993f3352c7cc.png)

## 微软发布3亿参数“微”模型Mu 专为Windows智能体打造

微软推出了一款参数仅为3.3亿的创新小型模型Mu，其性能却能与体量是其十倍的Phi-3.5-mini相媲美。该模型专为本地化部署而优化，在离线的NPU设备上能实现每秒超过100个token的惊人响应速度。Mu借鉴了Phi Silica架构，并引入双重层归一化、旋转位置嵌入等先进技术，使其能够通过自然语言指令直接操作Windows系统设置。经过大规模数据微调，Mu已将操作响应时间成功控制在500毫秒以内，极大地提升了Windows系统的易用性和智能化水平。

![iShot_2025-06-24_11.02.06.png](https://static.downly.cn/images/2e91b686cc69d9c34d2c779e94776477.png)

## 开源新星 OmniGen2 用自然语言“指点江山”精修图像


OmniGen2作为开源社区中Flux Context的有力替代者，为用户提供了强大的自然语言图像编辑能力。用户只需通过简单的文字指令，即可对图像进行精准的局部编辑，包括删除或替换对象、进行风格转换、调整颜色、处理背景、添加新物品，甚至修改人物的表情和动作。目前，该模型的权重已在[Hugging Face Space](https://huggingface.co/spaces/OmniGen2/OmniGen2)上公开发布，供广大开发者和爱好者体验。

![image.png](https://static.downly.cn/images/38fb68246c1a6bae554e293f4172cdc6.png)

## 版权保卫战打响 迪士尼正式起诉Midjourney

随着AI生成内容的普及，版权问题日益凸显。娱乐巨头迪士尼已采取法律行动，正式起诉Midjourney等AI公司，指控其未经许可使用迪士尼的知识产权进行模型训练和图像生成。此举标志着内容创作者与AI技术公司之间的法律战火正在升级。在积极维权的同时，迪士尼也在与OpenAI等公司进行合作洽谈，旨在探索在保护自身版权角色和IP的同时，利用AI技术发展的可能性。

![iShot_2025-06-24_11.04.48.png](https://static.downly.cn/images/38fb68246c1a6bae554e293f4172cdc6.png)

## 法庭文件曝光 OpenAI联手苹果前设计总监Jony Ive秘密研发AI硬件

一则法庭文件意外揭示，OpenAI正与苹果公司的前首席设计官Jony Ive创办的设计公司io进行深度合作，共同为一款面向大众市场的AI硬件设备进行技术研发。这一消息源于io公司针对另一家初创公司iyO提起的商标纠纷诉讼。此次合作曝光，意味着OpenAI的野心已不止于软件层面，正试图将AI能力封装到专门的硬件中，这可能预示着下一代消费级智能设备的到来。




## Grok亮剑生产力工具 挑战微软与谷歌的电子表格霸权

根据最新泄露的信息，马斯克旗下的xAI公司正为Grok开发一项强大的新功能——支持电子表格的高级文件编辑器。此举旨在将Grok这一强大的AI助手深度集成到日常的生产力工具中，直接向微软的Excel和谷歌的Sheets等传统办公软件发起挑战。通过赋能电子表格处理能力，Grok希望在AI驱动的生产力赛道上与OpenAI、Google和Microsoft展开激烈竞争。

![]([object Object])![iShot_2025-06-24_11.09.17.png](https://static.downly.cn/images/a36a0be1b906c96e6cc059809aafaf51.png)

## AI成抗癌新希望 GPT-4成功发现乳腺癌协同治疗新方案

剑桥大学等研究机构的一项突破性研究显示，大型语言模型在攻克癌症方面展现出巨大潜力。研究人员利用GPT-4分析海量医学文献和数据，成功提出了一种全新的乳腺癌协同治疗方案。该方案创新性地组合了辛伐他汀和双硫仑等非传统抗癌药物，并通过实验验证了其有效性。这一成果为利用AI进行新药研发开辟了全新路径，展示了AI“发明”新疗法的可能性。

![iShot_2025-06-24_11.09.54.png](https://static.downly.cn/images/3599ff0226db21a87c89c156e9dc4a2a.png)

## 苹果收购版图再添变数 与Mira Murati新公司谈判破裂

据报道，苹果公司此前曾与前OpenAI首席技术官Mira Murati创立的人工智能公司Thinking Machines Lab进行过收购洽谈。这家新公司的估值高达100亿美元，致力于使AI系统更易于被人类理解和定制。然而，最新的消息显示，双方的谈判并未达成协议，最终以破裂告终。目前，苹果公司正将评估的目光转向另一家AI搜索公司Perplexity，其在AI领域的布局策略依然充满变数。




## 4K画质一键达成 Astra为AI视频创作者推出超分辨率工具
![iShot_2025-06-24_11.04.48.png](https://static.downly.cn/images/38fb68246c1a6bae554e293f4172cdc6.png)
一款名为[Astra](https://astra.app/)的专业级AI视频超分辨率工具正式上线。该工具利用先进的AI技术，能够智能地将低分辨率的视频素材提升至清晰的4K画质，旨在解决AI视频创作者在内容生产最后环节的画质难题。尽管其功能相对单一，且标准版月费为39美元（约合人民币280元），价格不菲，但它为追求极致画质的用户提供了一个有效的解决方案。

![iShot_2025-06-24_11.12.27.png](https://static.downly.cn/images/bd8603c8e8dd189a00c4f6c4a595614f.png)

## ElevenLabs发布语音优先AI助理11ai 支持超5000种声音

以语音技术闻名的ElevenLabs公司发布了其全新的AI个人助理——11ai。这款助理主打“语音优先”的交互体验，并集成了强大的多工具集成能力和自定义MCP支持，允许用户创建高度个性化的工作流程。11ai具备日程管理、实时搜索和团队协作等核心生产力功能，支持超过5000种声音和70多种语言，其强大的多模态交互能力使其成为提升全球用户工作效率的强大工具。

AI每日资讯0624



> AI界风起云涌，技术应用与产业格局均迎来重磅更新。从谷歌Gemini实时生成交互界面的惊艳技术，到字节跳动、海螺AI等公司在视频生成领域的持续加码，AI正以前所未有的速度渗透到创意与交互的方方面面。与此同时，月之暗面开源其强大的多模态模型Kimi-2506，进一步推动社区发展。产业层面，苹果意图收购Perplexity的传闻引发市场巨震。然而，在一片高歌猛进中，MIT的研究也为我们敲响警钟，提醒我们需警惕对AI的过度依赖可能带来的认知影响。

## 警惕AI陷阱 MIT研究揭示过度依赖AI或导致大脑“变懒”

麻省理工学院（MIT）的一项最新研究为我们揭示了过度依赖AI工具可能带来的潜在风险。实验表明，与独立写作或使用搜索引擎辅助相比，长期完全依赖AI（如ChatGPT）进行写作的用户，其大脑在处理任务时的活跃度显著降低。这可能意味着认知能力的“走捷径”会削弱我们深度思考和解决问题的能力。研究还发现，亲身参与创作过程能显著增强人们对作品的归属感和满意度，这是纯粹由AI生成的作品无法替代的。

![iShot_2025-06-23_11.34.16.png](https://static.downly.cn/images/fd04b6a34281a853aae107ce409605b3.png)

## 字节跳动亮出新王牌 DreamActor-H1让商品图秒变带货视频

<video src="https://static.downly.cn/images/6ba10cca10c17c49251a28ddcf57071b.mp4"  title="30647320772-1-16.mp4"></video>
字节跳动近日发布了名为 [DreamActor-H1](https://submit2025-dream.github.io/DreamActor-H1/) 的视频生成系统，展示了其在AIGC视频领域的最新成果。该系统能够仅通过一张商品图片和一张人物照片，自动生成一段高质量、专业风格的带货短视频。从技术演示来看，其效果与广受欢迎的AI视频工具HeyGen相似，能够极大降低电商视频的制作门槛。目前，DreamActor-H1仍处于技术展示阶段，官方仅发布了演示视频和技术报告，尚未公布论文或开源计划。


![image.png](https://static.downly.cn/images/ff55f3865fb3c3d5438b81a67ab2f6c2.png)




## 谷歌开源Magenta RT 音乐创作进入实时生成新纪元

谷歌DeepMind团队为音乐创作者和开发者带来了一份大礼——开源了实时音乐生成模型Magenta RealTime (Magenta RT)。作为其先进模型Lyria的开放权重研究预览版，Magenta RT专注于实时交互式音乐创作与表演，能够根据用户的输入即时生成连贯的音乐片段。这一举措预示着AI在音乐领域的应用正从离线生成迈向实时协作，为现场表演、即兴创作和音乐教育开辟了全新的可能性。



![image.png](https://static.downly.cn/images/cc77d28a44031136de7ef51d6a435223.png)



## 视频剪辑迎来“自动驾驶” 海螺AI发布视频创作智能体

<video src="https://static.downly.cn/images/d1e844c63c547a134a3cddc0442a4596.mp4"  title="30647322073-1-16.mp4"></video>
国内AI初创公司海螺AI正式推出了其视频创作工具——Hailuo Video Agent。该工具定位为视频领域的“智能体”，旨在将创作者从繁琐的剪辑工作中解放出来。初期版本通过提供创意模板来简化创作流程，但其最终目标是实现用户自主编辑乃至完全自动化的“一键出片”。该智能体集成了音乐、TTS（文本转语音）、音效和字幕等全套功能，代表了AI赋能视频编辑的未来发展方向。



![image.png](https://static.downly.cn/images/883dd177d41f430aed6d85896ae5b853.png)



## 为机器人打造逼真世界 开源框架EmbodiedGen破解3D环境生成难题

具身智能（Embodied AI）的发展一直受限于高质量、物理真实的3D训练环境。为了突破这一瓶颈，一个名为EmbodiedGen的开源框架应运而生。它能够根据文本或图像输入，生成具有正确物理属性、密闭几何结构且可扩展的3D对象和场景。该框架生成的资产兼容多种主流物理模拟器，极大地降低了为机器人训练和数字孪生创建虚拟世界的成本和难度，为智能机器人研究铺平了道路。


![image.png](https://static.downly.cn/images/9b78864d652be698562cd2ddfafd4b23.png)



## 声音的“私人订制” MiniMax推出Voice Design音色设计功能

稀宇科技（MiniMax）在其开放平台上发布了创新的Voice Design音色设计功能。用户现在可以通过简单的文本描述，自由组合“任意语言、任意口音、任意音色”，创造出独一无二的个性化语音。该功能不仅能精准控制情感、音质等细节，还成功规避了传统音色复刻可能带来的版权风险，为内容创作、虚拟助手等应用场景提供了前所未有的便捷与高效。
用户可通过[稀宇科技国内版平台](minimaxi.com/audio)或[海外版平台](minimax.io/audio)体验Voice Design功能，探索语音合成的无限可能。
![image.png](https://static.downly.cn/images/2ce996768ec2bf3468a3b177bbae2128.png)

## 未来交互已至 谷歌Gemini 2.5 Flash-Lite实现“心念所想，界面即现”

谷歌DeepMind再次展示了其强大的技术实力，发布了Gemini 2.5 Flash-Lite模型。该模型最令人震撼的特性是其超低延迟的实时交互界面生成能力。用户可以通过语音或文本描述，瞬间生成并修改UI界面。这项技术结合了多模态输入和长上下文窗口，预示着一种全新的“生成式操作系统”的到来，用户与设备的交互方式或将被彻底颠覆。
![image.png](https://static.downly.cn/images/85e05624284ab97b3dc8479268d39ee4.png)

## 300亿美元豪赌 苹果或将收购Perplexity以重塑搜索格局

市场传出重磅消息，苹果公司正考虑以高达300亿美元的价格收购AI搜索初创公司Perplexity。若交易达成，这将成为苹果历史上最大规模的并购。此举被视为苹果应对AI时代搜索市场变革的关键一步，意图通过Perplexity先进的对话式、答案驱动的搜索技术，全面升级Siri和Safari的用户体验，以在与谷歌等对手的竞争中抢占先机。

![image.png](https://static.downly.cn/images/9d947b288c191a494212917b1cc2cf34.png)
## Kimi-2506开源 月之暗面升级多模态与智能体能力

国内大模型独角兽月之暗面宣布开源其最新的多模态模型Kimi-2506。新模型在智能体（Agent）和视觉理解能力上取得了重大突破。官方数据显示，其推理效率大幅提升，能够更节省token，同时在多项基准测试中得分显著提高。尤其在视觉方面，它支持高达320万像素的高分辨率图像处理，并在图表分析、长文档问答及视频理解等复杂任务上表现出色。

![image.png](https://static.downly.cn/images/b874ae38fdde0c49932a6e19ff4a81de.png)




AI每日资讯0623

> 今天的AI前沿资讯。从Adobe的实时视频生成，到NVIDIA的光影魔法，再到Hugging Face的亲民微调教程，今天的科技界可谓是精彩纷呈。无论是专业开发者还是普通爱好者，都能在今天的快讯中找到属于自己的惊喜。让我们一起来看看都有哪些不容错过的亮点吧！

---

## Adobe亮剑视频生成！Self Forcing模型实现4090显卡实时出片，人人都是特效师

> Adobe最新发布的Self Forcing模型，标志着实时视频生成技术的新突破。该模型基于Wang 2.1架构，实现了在单张RTX 4090消费级显卡上的流畅运行，并已开放线上试用，让更多创作者能够亲身体验其强大的功能。

### Self Forcing 核心技术解析

Adobe推出的Self Forcing模型，其技术核心是建立在先进的Wang 2.1架构之上。这一架构专为流式视频生成进行了优化，意味着模型能够一边接收输入指令，一边连续不断地生成视频帧，从而达到“实时”的效果。这与传统模型需要等待完整指令后才能开始渲染的方式截然不同，为即时互动和直播等场景提供了可能。

![image.png](https://static.downly.cn/images/047efc3d48e72798bdc15fd5ff06e0ff.png)

### 硬件亲民化的重要一步

以往，高质量的AI视频生成往往需要庞大的计算资源，通常是数据中心级别的服务器集群。而Self Forcing模型最大的亮点之一，就是它对硬件的优化。官方宣称，该模型可以在单张NVIDIA RTX 4090显卡上高效运行。这使得拥有高端PC的个人开发者、设计师和内容创作者，也能够接触并使用前沿的AI视频生成技术，极大地降低了技术门槛。

### 在线试用与未来展望

为了让更多用户感受Self Forcing的魅力，Adobe已经提供了在线试用入口。用户可以通过官方渠道访问并体验这一模型的实时生成能力。这一举措不仅展示了Adobe对自身技术的信心，也预示着AI视频生成工具将加速融入普通人的创作流程中，未来我们可能会看到更多由AI实时生成的短视频、直播背景甚至互动电影。
[试用地址](https://huggingface.co/spaces/multimodalart/self-forcing)

---

## 挑战Whisper霸主地位！Kyutai发布开源极速STT模型，实时语音转写新选择

> 法国AI初创公司Kyutai推出了一款名为Kyutai Speech-To-Text（STT）的开源模型，以其惊人的速度和超越Whisper Large v3的性能，为语音转文本领域带来了新的标杆。该模型特别优化了实时流式处理，并提供了针对不同需求的版本。

### 性能卓越 超越Whisper

Kyutai Speech-To-Text模型在发布之初就将目标对准了行业标杆OpenAI的Whisper。根据官方公布的数据，其纯英语的2.6B参数版本，在多项评测基准上表现优于Whisper Large v3。这不仅体现在转写的准确率上，更体现在其“极速”的特性上，无论是处理已有的音频文件（批量推理），还是进行实时的语音流转写（流式推理），都展现出了顶级的性能。

![image.png](https://static.downly.cn/images/99f96be5cb2ecec3b5f806a8ddda16bc.png)


### 两种模型版本 各有侧重

为了满足不同场景的需求，Kyutai贴心地推出了两个版本：
*   **2.6B参数模型** 这是一个纯英语模型，性能强劲，是追求最高转写质量和速度的用户的首选。
*   **1B参数模型** 这是一个更轻量级的双语模型，专为英语和法语的实时语音聊天场景优化。它在保持较低延迟的同时，实现了高效的双语识别，非常适合跨语言交流工具的开发。

### 开源精神与应用前景

Kyutai STT模型选择完全开源，开发者可以在其官方渠道（如Hugging Face）轻松获取模型和相关代码。这意味着任何开发者都可以自由地使用、修改和集成这个强大的工具。尽管目前模型暂不支持中文，但其出色的架构和性能为多语言语音识别领域注入了新的活力，未来有望通过社区的力量扩展到更多语种。

[官方链接](https://kyutai.org/next/stt)

---

## 后期制作的魔法！NVIDIA UniRelight一键重塑视频光影，废片变大片

> NVIDIA AI团队再次展示其技术实力，推出名为UniRelight的通用视频重照明技术。这项基于扩散模型的技术，能够仅凭单张参考图或一段视频，就对目标视频实现逼真、高质量的动态光影重塑，为影视后期和内容创作带来了革命性的工具。

### UniRelight 是什么

UniRelight是一项创新的“通用重照明”技术。简单来说，它允许创作者在视频拍摄完成之后，像编辑照片一样，任意改变视频中的光照效果。无论是想把白天变成黑夜，还是为场景添加一盏虚拟的、动态移动的灯光，UniRelight都能通过AI计算，生成符合物理规律的、自然的光影变化，极大地丰富了后期创作的可能性。



### 扩散模型的魔力

这项技术的核心驱动力是扩散模型（Diffusion Model）。模型通过学习海量数据，理解了光线与物体表面材质、场景深度之间的复杂关系。当用户提供一张参考图片（例如一张日落的照片）时，UniRelight就能“理解”其中的光照风格，并将其应用到目标视频的每一帧中，同时确保光影的连续性和真实感。

### 应用场景与开源计划

UniRelight的应用前景极为广阔。对于电影制作，它可以大幅降低现场布光的成本和难度；对于短视频创作者，它可以轻松为普通视频增添“电影感”；对于游戏开发，它可以用于生成更真实的环境光照。NVIDIA已经表示，该技术的代码即将开源，这意味着它将很快成为广大开发者和创作者可以使用的强大工具。目前，官方网站已展示了大量惊艳的效果案例供业界参考。

[官方链接](https://research.nvidia.com/labs/toronto-ai/UniRelight/)

---

## 一张图、一段话，AI帮你拍广告！HeyGen新功能让产品视频制作进入“傻瓜”模式

> AI视频生成平台HeyGen再次降低内容创作门槛，推出了全新的AI广告生成工具。现在，用户仅需三步——上传产品图、选择虚拟形象、输入文案，即可快速生成一段专业的带货或产品介绍视频，彻底改变了传统营销视频的制作模式。

### 三步搞定产品视频

HeyGen新推出的产品植入功能，主打的就是极致的简洁与高效。整个创作流程被简化为三个核心步骤：
1.  **提供产品照片** 用户上传自己需要推广的产品的清晰图片。
2.  **选择人物形象** 在HeyGen提供的多种虚拟形象中，选择一个符合品牌调性的“代言人”。
3.  **输入文字脚本** 将产品介绍、广告语等文案输入系统。

完成这三步后，AI会自动将产品照片与虚拟形象融合，并根据脚本生成一段口型精准、动作自然的介绍视频。



### AI如何简化营销流程

这项功能背后，是成熟的AI虚拟人技术和图像处理技术的结合。AI不仅能让虚拟人自然地“说话”，还能智能地将静态的产品图片融入到动态的视频场景中，仿佛虚拟人真的手持产品在进行介绍。对于中小型企业、电商卖家或个人品牌来说，这意味着无需昂贵的拍摄团队、演员和场地，就能快速、低成本地批量生产高质量的营销视频。

### 为谁而生

这个工具的主要受益者是那些需要大量视频内容但预算有限的营销人员和商家。它极大地缩短了从创意到成品的周期，使得测试不同的广告文案、产品卖点和视觉风格变得轻而易举。可以说，HeyGen正在让专业的视频广告制作，变得像制作PPT一样简单。

<video src="https://static.downly.cn/images/d7f27be5bce5805ea5d8006fbee8299a.mp4"  title="30591878914-1-16.mp4"></video>

---

## 10GB显存就能“炼丹”！Hugging Face发布FLUX.1-dev平民级微调教程

> 人人都能微调大模型不再是梦想。Hugging Face近日发布官方教程，手把手教你如何利用QLoRA技术，在仅有10GB显存的消费级显卡上，对强大的文生图模型FLUX.1-dev进行高效微调，极大地降低了AI模型定制化的门槛。

### 主角 FLUX.1-dev模型

FLUX.1-dev 是一个新兴的、强大的文本到图像生成模型。与之前的扩散模型不同，它采用了新的架构，旨在更深刻地理解文本提示的复杂性和细微差别，从而生成更贴合描述的图像。能够对这样的前沿模型进行微调，意味着用户可以训练出具有自己独特风格的“专属AI画家”。

### 核心技术 QLoRA

实现低门槛微调的关键在于QLoRA（Quantized Low-Rank Adaptation）技术。简单来说，它是一种“四两拨千斤”的训练方法。它通过量化和低秩适配技术，在不牺牲太多性能的前提下，大幅减少了模型微调过程中所需要的显存。Hugging Face的教程正是利用了QLoRA，将原本需要专业级硬件才能进行的任务，成功地运行在了仅有10GB显存的消费级显卡上，如RTX 3060 (12GB) 或 RTX 4060 Ti等。
![image.png](https://static.downly.cn/images/94de23f39bcfcf327cc018f38cf20cad.png)


### 教程详解与实践意义

Hugging Face发布的这篇[官方教程](https://huggingface.co/blog/flux-qlora)，详细介绍了整个微调过程的每一步，包括环境配置、加载模型、准备数据集，以及如何使用`diffusers`库来应用QLoRA进行训练。这篇教程的意义非凡，它为广大的AI爱好者、艺术家和独立开发者打开了一扇大门，让他们能够用得起的硬件，去定制和探索最先进的AI模型，从而催生出更多个性化、多样化的AI艺术作品和应用。

AI每日资讯0620

> 近日，阿里巴巴（Alibaba）旗下人工智能团队宣布**开源其多模态大模型 Ming-Omni**。 这一创新模型旨在实现对**图像、文本、音频和视频**等多种模态数据的统一处理和理解，代表着大模型在通向通用人工智能的道路上迈出了重要一步。 



随着人工智能技术的飞速发展，大模型（Large Models）正逐渐从单一模态（如文本或图像）走向多模态，以期更好地理解和应对现实世界的复杂信息。 在这一趋势下，阿里巴巴（Alibaba）旗下的 InclusionAI 团队，近日带来了其重磅研究成果——**开源多模态大模型 Ming-Omni**。
![image.png](https://static.downly.cn/images/8b72ee56a614208e00060303a8a4397f.png)
Ming-Omni 的发布，旨在打破不同数据模态之间的壁垒，实现对**图像、文本、音频和视频**等多种信息形式的统一处理、理解和生成。 这意味着，未来的 AI 系统将能够像人类一样，更全面、更立体地感知和交互世界。



### 核心突破 全模态统一处理

Ming-Omni 的核心亮点在于其卓越的**全模态统一处理能力**。 不同于以往需要为每种模态单独设计模型的做法，Ming-Omni 采用了一种更为通用的架构，能够同时理解和处理来自不同感官的信息。

#### 1. 统一的表示与融合

Ming-Omni 创新性地将文本、图像、音频和视频数据编码为**统一的特征表示**，并通过先进的融合机制，将这些异构信息整合到一起。 这种统一的表示层使得模型能够捕捉不同模态之间复杂的关联和语义信息。

#### 2. 跨模态理解与生成

得益于统一的架构，Ming-Omni 能够实现**深度的跨模态理解**。 例如，它可以根据一段视频和音频，生成相应的文字描述；或者根据一段文字，生成图像和语音。 这种能力为多种创新应用奠定了基础。

#### 3. 大规模数据训练

为了达到如此强大的多模态处理能力，Ming-Omni 在**海量的多模态数据集**上进行了训练。 这些数据涵盖了文本、图像、音频和视频的广泛组合，使得模型能够学习到丰富的世界知识和跨模态的关联规律。

![image.png](https://static.downly.cn/images/956263f5169f3da1b2d0b32ad2edc7eb.png)

### 应用场景 无限可能

Ming-Omni 的多模态能力，使其在多个领域都展现出巨大的应用潜力

*   **智能助理与对话系统** AI 助手将能更好地理解用户的语音指令、识别图片内容，并生成更丰富、更自然的回复，实现更接近人类的交互。
*   **内容创作与编辑** 辅助创作者生成多媒体内容，例如根据文本脚本生成视频草稿，或根据图像生成背景音乐。
*   **多媒体搜索与推荐** 用户可以通过图片、语音或视频片段进行搜索，并获得更精准的多模态搜索结果和推荐。
*   **智能监控与分析** 在安防、医疗等领域，模型可以同时分析视频画面、环境声音和文本信息，进行更全面的事件检测和预警。
*   **教育与娱乐** 提供更沉浸式、交互式的学习体验，或创造更丰富的游戏和虚拟世界内容。

### 开源赋能 推动生态发展

阿里巴巴此次开源 Ming-Omni，无疑将对整个 AI 社区产生深远影响。

*   **加速研究与创新** 为全球的学者和研究人员提供了强大的基座模型，降低了多模态 AI 研究的门槛，促进了更多创新性应用的涌现。
*   **促进产业落地** 开发者可以基于 Ming-Omni 构建定制化的多模态解决方案，加速 AI 技术在各行各业的落地应用。
*   **构建开放生态** 阿里巴巴通过开源，积极构建开放、协作的 AI 生态，与全球开发者共同推动人工智能的进步。

Ming-Omni 的发布，不仅仅是一个模型的开源，更是阿里巴巴在通向通用人工智能道路上迈出的坚实一步。 它为我们描绘了一个未来，AI 将能够以更全面的方式感知、理解和交互世界。



阿里开源Ming-Omni 统一处理图像文本音频视频

> 近日，浙江大学与 vivo 联合宣布，正式开源一项突破性的视频虚拟试穿框架——**MagicTryOn**。 该框架基于先进的 **Wan 2.1 技术**，能够实现**高质量、逼真且高度一致的视频虚拟试穿效果**。 MagicTryOn 的开源，有望彻底改变在线服装零售、虚拟时尚体验以及数字内容创作等领域，为消费者带来前所未有的沉浸式试穿体验。


在电商和数字时尚日益发展的今天，虚拟试穿技术正成为连接消费者与商品的桥梁。 传统的虚拟试穿多局限于静态图片，难以真实反映服装在动态人体上的效果。 如今，这一局限正被一项革命性技术打破。 MagicTryOn 的出现，标志着虚拟试穿从静态图像迈向动态视频的新纪元，有望为消费者带来更真实、更沉浸的购物体验。

<video src="https://static.downly.cn/images/7aa730ae2fe7c13aeca6263286dae155.mp4"  title="project_page_video5.mp4"></video>

### MagicTryOn 突破性视频试穿体验

MagicTryOn 的核心优势在于其能够实现**高质量的视频虚拟试穿**。 与传统的图片试穿不同，它能处理人物在视频中的复杂动作和姿态变化，并确保服装在这些动态下的真实呈现。

#### 1. 真实且一致的试穿效果

MagicTryOn 能够将目标服装**无缝地“穿到”视频中人物的身上**，并**保持服装纹理、光影和褶皱的自然变化**，极大地提升了试穿的真实感。 即使人物在视频中移动、旋转或摆出复杂姿势，服装也能保持高度一致性和逻辑性，如同真实穿着一般。

#### 2. 基于 Wan 2.1 的强大支撑

该框架的核心技术是基于 **Wan 2.1**，这是一种在处理弱对齐数据方面表现卓越的网络架构。 Wan 2.1 能够有效地解决视频中人体姿态和服装之间复杂对应关系的问题，即使在没有精确人体骨架或服装裁剪信息的情况下，也能实现高质量的虚拟试穿。

#### 3. 处理复杂人物姿态与服装变形

MagicTryOn 的另一大亮点是其处理**复杂人物姿态和服装变形**的能力。 无论是手臂的抬起、身体的扭动，还是裙摆的飘动，该框架都能准确地模拟服装的物理效果，让试穿结果更具说服力。

<video src="https://static.downly.cn/images/54a531433b570ee58f3e65cb7bbc21c7.mp4"  title="prpject1.mp4"></video>

### 技术细节与创新点

MagicTryOn 的卓越性能源于其多方面的技术创新

#### 1. 细粒度特征编码与融合

该框架采用了先进的**细粒度特征编码技术**，能够捕捉服装和人体的微小细节。 通过巧妙的特征融合机制，确保了服装能够精准地适应人体的轮廓和动作。

#### 2. 时序一致性保持

为解决视频虚拟试穿中常见的**帧间闪烁和不连贯**问题，MagicTryOn 设计了独特的时序一致性保持策略，确保了视频中服装的流畅和自然变化。

#### 3. 开放性与可扩展性

作为一个开源框架，MagicTryOn 不仅提供了核心代码，还为开发者提供了**丰富的接口和灵活的配置选项**，便于二次开发和集成到不同的应用场景中。

![image.png](https://static.downly.cn/images/489a1f62ebb62dfecf56235a735eb71e.png)

### 应用前景 颠覆零售与娱乐

MagicTryOn 的开源，将对多个行业产生深远影响

*   **在线服装零售** 消费者可以在线“试穿”服装，大大降低退货率，提升购物体验。
*   **虚拟时尚与元宇宙** 为元宇宙中的虚拟形象提供更真实的服装穿搭体验。
*   **数字内容创作** 电影、游戏、广告等行业可用于快速生成虚拟人物的服装动画。
*   **个性化定制** 帮助用户预览定制服装效果。

浙大与 vivo 的合作，不仅展现了学术界与产业界的紧密结合，更通过开源的方式，推动了虚拟试穿技术乃至整个 AI 视觉领域的发展，为未来数字生活描绘了更丰富的图景。




浙大联合vivo通信公司 开源视频虚拟试穿框架MagicTryOn

> 近日，北京大学和加州大学伯克利分校的研究团队联合发布了一项对当前最强大型语言模型驱动的 Agent（AI 智能体）的全面评测结果。 通过名为 **IDA-Bench** 的严格基准测试，研究发现，即使是顶尖的 Agent 在复杂环境下的表现也远不及人类水平，最高得分仅为 **40 分（满分 100 分）**，揭示了当前 AI Agent 在智能决策、自主探索和复杂任务处理能力上的瓶颈与未来发展方向。



随着大型语言模型 (LLM) 技术的飞速发展，能够自主规划、执行复杂任务的 AI 智能体 (Agent) 正成为人工智能领域的新焦点。 它们被寄予厚望，有望在各个领域取代人类完成重复性、复杂性的工作。 然而，这些“最强大脑”的实际能力究竟如何？

[开源地址](https://github.com/lhydave/IDA-Bench)
![image.png](https://static.downly.cn/images/9d1d331239d89bb393d516833fe76ba3.png)



### IDA-Bench 一项全新的Agent评测基准

为了更准确地评估 AI Agent 的真实能力，研究团队设计了 IDA-Bench。 这一基准测试与以往的评测方法有显著不同

*   **复杂、开放式任务** IDA-Bench 不仅仅是评估模型生成文本的能力，而是聚焦于 Agent 在**多步骤、开放式**且需要**自主决策和探索**的复杂环境中的表现。 例如，Agent 可能需要在给定指令下，通过与环境交互来解决谜题、完成挑战。
*   **指令驱动决策** 评测的核心是 Agent 理解并遵循人类指令的能力，以及在执行指令过程中，面对未知和不确定性时，如何进行有效的决策和规划。
*   **多维度评估** 评估维度涵盖了 Agent 的任务完成度、探索效率、决策智能性等多个方面，力求全面反映 Agent 的实际操作能力。

通过引入这些挑战性的元素，IDA-Bench 旨在模拟真实世界中 Agent 可能面临的复杂场景，从而更客观地衡量它们的智能水平。

### 最强Agent也只有40分 远不及人类表现

测试结果令人深思。 在 IDA-Bench 的各项任务中，即使是基于目前最先进的大型语言模型构建的 Agent，其表现也显得力不从心

*   **最高得分仅40分** 在所有参评的 Agent 中，表现最好的也只获得了 40 分（满分 100 分），与人类轻松达成高分形成鲜明对比。 这意味着在许多复杂任务上，Agent 仍然难以胜任。
*   **智能决策与规划不足** Agent 在面对需要多步推理、长程规划和灵活应变的任务时，尤其显得力不从心。 它们往往难以理解指令的深层含义，或在执行过程中陷入局部最优，无法找到全局最佳解决方案。
*   **自主探索能力欠缺** 在开放式环境中，Agent 缺乏高效的自主探索策略，容易遗漏关键信息或重复无效操作，导致任务失败。

![image.png](https://static.downly.cn/images/50512910d466306b2c94947f73a1c3ff.png)

这些结果表明，尽管大模型在语言理解和生成方面取得了巨大进步，但将其应用于复杂的具身或模拟环境中，使其真正具备“智能”行为，仍面临巨大挑战。

### 当前Agent的瓶颈与未来发展方向

这项研究不仅揭示了当前 AI Agent 的能力短板，也为未来的研究指明了关键方向

#### 1. 强化长程规划与推理能力

目前的 Agent 往往只能进行短期的、局部性的规划。 未来需要研究更强大的规划算法，使 Agent 能够理解任务的全局目标，并制定多步骤、长期的执行策略。

#### 2. 提升自主探索与环境感知能力

Agent 需要更智能的探索机制，能够高效地收集环境信息，并利用这些信息进行决策。 结合视觉、听觉等多模态感知能力，将有助于 Agent 更好地理解复杂环境。

#### 3. 增强容错与适应性

真实世界充满不确定性。 Agent 需要具备更强的容错能力，能够在遇到意外情况或错误时，进行自我纠正和适应性调整，而不是直接失败。

#### 4. 融合世界模型与具身智能

将类似于 Meta AI V-JEPA 2 这样的“世界模型”融入 Agent，使其能够对环境的动力学进行预测，从而更好地规划和执行任务，是未来研究的重要方向。 让 Agent 不仅仅是“回答问题”，而是真正能够“行动”起来。



### 展望 更智能的AI Agent未来可期

北大与伯克利分校的这项研究，如同一面镜子，清晰地反映了当前 AI Agent 发展所处的阶段。 它提醒我们，尽管取得了巨大进步，但要实现真正通用、自主的 AI Agent，仍有漫长的道路要走。 这项工作为研究人员提供了宝贵的基准和研究方向，有望加速下一代更强大、更智能的 AI Agent 的诞生，使其未来能真正成为人类的得力助手。




北大伯克利联手“拷问”大模型：最强Agent也才40分

> 近日，Meta AI 正式发布了其颠覆性的**视频联合嵌入预测架构 V-JEPA 2** (Video Joint Embedding Predictive Architecture2)。 作为其世界模型战略的关键一步，V-JEPA 2 能够通过**非生成式学习**理解和预测视频内容，不仅在视频理解任务上表现卓越，更在数据效率和泛化能力上展现出巨大潜力，特别是能赋能**机器人在陌生环境中的零样本规划**，有望推动 AI 领域向更接近人类智能的方向发展。



在人工智能领域，构建能够像人类一样理解世界、预测未来事件的“世界模型”一直是研究的圣杯。 近日，互联网巨头 Meta AI 在这一宏伟目标上迈出了关键一步，正式发布了其最新成果——**V-JEPA 2 (Video Joint Embedding Predictive Architecture2)**。 作为 Meta AI 首席科学家 Yann LeCun 倡导的联合嵌入预测架构 (JEPA) 理念在视频领域的重要实践，V-JEPA 2 的出现，预示着 AI 对复杂动态世界的理解能力将达到一个新的高度，尤其对于**机器人在陌生环境中自主执行任务**具有里程碑式的意义。

<video src="https://static.downly.cn/images/c859cc99f1929a0984f111882da40833.mp4"  title="30448618124-1-16.mp4"></video>

V-JEPA 2 的核心突破在于其**非生成式学习范式**，它避开了传统生成模型在预测像素点上的高计算成本和潜在误差累积，而是通过学习视频片段之间的抽象表示来理解和预测世界，这使其在效率和泛化能力上具有显著优势，进而支撑了其在机器人具身智能领域的重大应用潜力。
[开源地址](https://github.com/facebookresearch/vjepa2)
![image.png](https://static.downly.cn/images/e461164bcc3cf343f15061ed3b7b492f.png)

### 非生成式学习 V-JEPA 2 的核心范式

与目前流行的通过生成缺失像素或帧来预测内容的“生成式”模型不同，V-JEPA 2 采用了**非生成式**的自监督学习方法。 这种方法的核心思想是

*   **学习抽象表示** V-JEPA 2 不会试图精确地“画出”视频中缺失的部分，而是通过学习视频中不同片段的**联合嵌入 (Joint Embedding)**，来预测未来或被遮挡的视频帧的**高级抽象表示**。
*   **避免高维噪声** 生成式模型需要处理像素级别的高维细节，容易受到噪声和微小扰动的影响。 非生成式方法则专注于学习语义信息和结构关系，大大提高了学习效率和模型的鲁棒性。

这种学习方式使得 V-JEPA 2 能够高效地从海量视频数据中学习世界的动力学和因果关系，而无需耗费巨大资源去“重建”每一个像素。

### V-JEPA 2 的卓越性能与潜力

V-JEPA 2 的发布，不仅是理论上的突破，更在实际应用中展现出强大的性能和潜力

#### 1. 顶尖的视觉理解和预测能力

V-JEPA 2 在视频理解任务上表现出领先的性能，能够更好地理解视频中的动作、事件和对象之间的关系，从而在行为识别、动作检测等下游任务中提供高质量的特征表示。 其强大的视觉理解和预测能力，使其能够精准地把握动态环境中的关键信息，为高层决策提供支撑。

#### 2. 实现机器人在陌生环境中的零样本规划

这是 V-JEPA 2 最令人兴奋的应用前景之一。 凭借其卓越的视觉理解和预测能力，V-JEPA 2 能够帮助机器人在**不熟悉的环境中**进行**零样本规划 (zero-shot planning)**，即无需事先对新环境进行大量训练或编程，机器人也能规划并执行复杂任务。 这意味着，当机器人被部署到一个全新的、未曾见过的场景时，它可以通过 V-JEPA 2 对环境进行实时理解和预测，从而自主制定行动方案，大大提升了机器人的自主性和适应性。

![image.png](https://static.downly.cn/images/e3bc58ba2d3b4d80c6c93ab9f6686675.png)

#### 3. 高效的数据利用率与强大的泛化能力

由于 V-JEPA 2 不需要进行像素级别的精确生成，它在学习过程中对数据的需求更为高效。 这意味着即使面对有限的数据集，V-JEPA 2 也能学习到有用的世界知识，降低了训练成本和时间。 同时，非生成式学习使得模型能够学习到更本质、更泛化的世界规律。 当应用于新的、未见过的数据或场景时，V-JEPA 2 也能保持良好的表现，展现出优秀的泛化能力，这对于机器人从模拟环境到真实世界的迁移至关重要。


### 世界模型战略的关键一步

V-JEPA 2 的发布，是 Meta AI 推动其“世界模型”战略向前迈出的重要一步。 Yann LeCun 曾多次强调，构建能够像人类一样理解世界并进行预测的 AI 模型，是实现真正通用人工智能的关键。

*   **向人类智能靠拢** 人类智能的一个核心特征是能够预测即将发生的事情，即使没有完整的感官输入。 V-JEPA 2 试图模仿这种能力，通过学习抽象表示来预测视频中的未来事件，使其更接近人类的直觉和理解，特别是能将这种理解应用于具身智能体。
*   **赋能具身智能** 对于机器人等具身 AI 而言，能够理解动态环境并预测未来状态的能力至关重要。 V-JEPA 2 提供的顶尖视觉理解和零样本规划能力，是实现机器人自主学习、自主决策和自主行动的基础，有望加速通用机器人的实现。
*   **更安全的 AI** 相较于生成式模型，基于预测抽象表示的模型在处理错误时更具鲁棒性，也可能更容易被理解和控制，从而为构建更安全、更可信的 AI 系统奠定基础。



V-JEPA 2 的发布，不仅是 Meta AI 在深度学习基础研究上的又一里程碑，也为整个 AI 社区指明了一个激动人心的研究方向。 随着这类模型的不断发展，我们有理由相信，能够真正理解并预测世界的 AI，以及能够因此在复杂环境中自主行动的机器人，将不再是遥不可及的梦想。



Meta AI 重磅发布 V-JEPA 2 世界模型

Google推出的机器学习和人工智能开源库

TensorFlow

在浏览器中组装、配置和部署自主人工智能的开源项目

AgentGPT

Apache MXNet

昇思MindSpore

Meta最新开源推出的新一代大模型

Llama 3

阿里达摩院推出的AI模型社区，超过300+开源AI模型

魔搭社区

Vercel开源的搭建AI聊天机器人的开发套件，支持React/Svelte/Vue等框架

Vercel AI SDK

StabilityAI推出的文本到图像生成AI

Stable Diffusion

HunyuanVideo-Avatar

开源的全栈 AI 客户端，支持本地部署和API集成

AnythingLLM

爆火的实现GPT-4完全自主的实验性开源项目，GitHub超10万星

Auto-GPT

免费开源的对话式AI，GitHub星标超3万

Open Assistant

全球首款通用型 AI Agent 开源项目

Suna

幻方量化旗下深度求索推出的开源大模型和聊天助手

DeepSeek

GitHub Copilot

开源的机器学习模型监测和测试工具

Evidently AI

Hugging Face推出的开源大模型排行榜单

Open LLM Leaderboard

微软开源的低成本实现类似ChatGPT的模型训练

DeepSpeed

Colossal-AI推出的免费开源版ChatGPT聊天机器人替代品

ColossalChat

免费开源的深度学习和AI学习网站，让每个人都参与到AI！

fast.ai

CodeGeeX

免费开源的AI图片无损放大工具

Upscayl

虎博科技推出的AI对话聊天机器人，基于TigerBot开源大模型

TigerBot

开源的使用JVM部署和训练深度学习模型的套件

DL4J

飞桨PaddlePaddle

开源的知识库搭建工具，构建你的第二大脑

Quivr

PyTorch

第一个通过RLHF训练的大规模开源聊天机器人

StableVicuna

微软推出的免费开源的机器学习课程，GitHub标星4万+

搜索结果: 开源