
> 智谱AI最新推出的视觉大模型赋予了机器直接解析设计稿与复杂图表的超常能力，实现从图像到前端代码的秒级生成。感知链路的颠覆性突破正大幅降低软件开发门槛，并为智能体拓展出更深度的商业应用场景。

## 突破纯文本交互的感知天花板

软件工程领域正在经历一场由多模态技术驱动的底层革新。智谱AI正式向业界发布了专为视觉编程场景打造的大语言模型GLM-5V-Turbo。与传统依赖大量晦涩文本提示词的开发模式不同，该模型具备了极具震撼力的视觉感知本能。

凭借高达200k的超大上下文窗口支撑，这款新模型不再局限于简单的文字指令理解。开发者只需向其喂入一张随手绘制的草图或是精密复杂的UI设计稿截图，模型便能敏锐地捕捉到画面中的空间布局逻辑、色彩搭配体系以及潜藏的动态交互规则，进而自动输出高可用性的前端工程代码。这种所见即所得的极速转化，将彻底改写UI设计师与前端工程师之间的协作流转范式。

![42.png](https://static.downly.cn/images/6607a29ead337c11c028aacdfcaa3b65.png)

<center>图源备注 图片由AI生成</center>

## 视觉赋能拓宽智能体任务边界

原生多模态能力的引入正在让自主智能体从半盲状态走向全知全能。接入该视觉模型后，智谱旗下的核心智能体龙虾获得了真正意义上的环境观察力。其应用场景迅速从单一的代码编写跨越至复杂的金融数据分析领域。

在最新上线的股票分析师模块中，具备视觉解析能力的智能体不仅能像人类操盘手一样熟练查阅海量网页，更能精准解读结构复杂的K线图与券商研报图表。通过四路高并发数据源的实时采集与交叉验证，系统可在短短60秒内产出逻辑严密且图文并茂的专业市场剖析报告。交互式开发的时代大幕已然拉开，可视化的迭代效率将成为新一代智能助手的核心竞争力。

智谱发布原生多模态视觉模型 草图直出代码重塑前端开发链路



> **导语**
> AI 视觉领域迎来 "极简主义" 的反击。Meta AI 推出的 Pixio 模型证明，通过改良经典的掩码自编码器架构，即便不依赖复杂的 DINO 算法，也能在深度估计与 3D 重建等高难度任务中实现性能反超。

## 回归本质 强力解码器重塑空间理解

长期以来，学术界普遍认为掩码自编码器（MAE）在场景理解能力上逊色于 DINOv2 或 DINOv3 等复杂算法。然而，Pixio 的出现打破了这一刻板印象。

Pixio 的核心在于对 2021 年 MAE 框架的深度改良。研究团队发现，原始设计中较弱的解码器限制了编码器的潜力。因此，Pixio 显著增强了解码器功能，并采取了激进的 "大面积遮罩" 策略。不同于以往细碎的遮挡，Pixio 将图像中的大片连续区域进行遮蔽。这种做法迫使模型放弃简单的像素复制，转而必须真正 "脑补" 出物体共现关系、3D 透视以及光影反射等深层空间逻辑。

![Google_AI_Studio_2025-12-29T03_20_15.559Z.png](https://static.downly.cn/images/fbd1d8a431277ae5e4d513426fd8b8e6.png)
 <center>图源备注：图片由AI生成</center>

## 拒绝刷分 动态频率调整的数据哲学

在训练策略上，Pixio 展现出一种反直觉的纯粹性。它没有针对 ImageNet 等特定基准测试进行 "应试教育"，而是从网络收集了 20 亿张图像进行广泛学习。

为了提升模型对物理世界的理解，团队采用动态频率调整机制：降低简单产品白底图的训练权重，大幅增加复杂场景图片的出现频次。这种不为 "刷分" 而生的训练方式，反而赋予了模型惊人的迁移能力。数据表明，仅有 6.31 亿参数的 Pixio 在单目深度估计准确率上提升了 16%，在单张图像 3D 重建任务中，甚至优于使用八视角训练的 8.41 亿参数 DINOv3。

![Google_AI_Studio_2025-12-29T03_20_19.212Z.png](https://static.downly.cn/images/307d8a77d79ac308562665024a6ad2a8.png)
 <center>图源备注：图片由AI生成</center>

## 机器人领域的潜力

Pixio 的优势不仅停留在屏幕上，更延伸到了物理世界。在机器人学习领域的测试中，Pixio 以 78.4% 的成功率领先于 DINOv2。这表明，回归像素重建的本质，往往能通向更深层的视觉理解。尽管目前人工掩蔽存在局限，但 Pixio 为视觉大模型指明了一条 "大道至简" 的新方向。

Meta发布Pixio 像素级重构挑战视觉AI复杂论


> **导语**
> 英伟达 AI 团队近日再度突破界限，推出开放视觉行动基础模型 NitroGen。该模型通过学习 40,000 小时的海量视频数据，无需代码介入即可掌握游戏操控逻辑，为通用游戏智能体的构建提供了全新的技术范式。

## 视频即数据 重新定义游戏AI训练逻辑

传统游戏 AI 的训练往往依赖于对游戏内部接口的深度挖掘或定制化开发，而 NitroGen 走了一条更为通用的 "人类视角" 路线。该模型的核心构建始于对公开游戏视频的深度挖掘。

研究团队构建了一个庞大的数据管道，收集了总计 71,000 小时的原始视频素材。经过严格的质量过滤，最终提炼出 40,000 小时的精选数据。这些数据涵盖了 818 位创作者上传的 38,739 个视频，跨越了 846 款截然不同的游戏。数据分布显示，动作角色扮演类游戏（ARPG）占据主导地位，占比达 34.9%，其次是平台跳跃类（18.4%）和动作冒险类（9.2%）。这种多样化的数据构成，为模型理解复杂的 3D 空间关系和操作逻辑奠定了基础。

![Google_AI_Studio_2025-12-29T03_18_39.132Z.png](https://static.downly.cn/images/ff17838482696f5dbdf98f93f0b067bd.png)
 <center>图源备注：图片由AI生成</center>

## 三阶段提取 并不是简单的模仿

NitroGen 并非简单地 "看" 视频，而是通过一套精密的三阶段提取流程来 "理解" 操作。

首先，系统利用 300 个标准化的控制器模板，在视频画面中精准定位游戏手柄的 UI 叠加层。随后，基于 SegFormer 的分类分割模型会对这一区域进行深度解析，将视觉信号转化为具体的按键指令。最后，通过坐标精细化处理，确保动作预测的毫秒级准确性。这一流程让 NitroGen 具备了大规模行为克隆的能力，使其能够像人类玩家一样，仅凭画面反馈做出决策。

此外，随模型发布的还有一个通用模拟器。它能将商业 Windows 游戏无缝封装为兼容 Gymnasium 的接口，实现逐帧互动而无需修改任何底层代码，极大地降低了跨游戏策略迁移的门槛。

![Google_AI_Studio_2025-12-29T03_18_52.433Z.png](https://static.downly.cn/images/44511532641526f940446290039dc39d.png)
 <center>图源备注：图片由AI生成</center>

## 扩散架构驱动 性能与迁移能力的双重飞跃

在架构层面，NitroGen 采用了基于 Diffusion Transformer 的先进策略，专门针对 256×256 分辨率的 RGB 图像进行优化。这种架构选择使得模型在生成动作策略时具备了极高的鲁棒性。

实测数据显示，NitroGen 在多个零样本（Zero-shot）评估任务中表现优异，任务完成率稳定在 45% 至 60% 之间。更令人瞩目的是其迁移学习能力：当应用于一款从未见过的全新游戏时，经过预训练的 NitroGen 相较于从头开始训练的模型，性能提升幅度高达 52%。这证明了该模型不仅记忆了操作，更习得了通用的游戏交互逻辑。

英伟达发布NitroGen 视觉大模型开启游戏AI新纪元

美图推出的AI视觉大模型，支持AI图像、设计和视频创作

搜索结果: 视觉大模型