

> **导语**
> AI 视觉领域迎来 "极简主义" 的反击。Meta AI 推出的 Pixio 模型证明，通过改良经典的掩码自编码器架构，即便不依赖复杂的 DINO 算法，也能在深度估计与 3D 重建等高难度任务中实现性能反超。

## 回归本质 强力解码器重塑空间理解

长期以来，学术界普遍认为掩码自编码器（MAE）在场景理解能力上逊色于 DINOv2 或 DINOv3 等复杂算法。然而，Pixio 的出现打破了这一刻板印象。

Pixio 的核心在于对 2021 年 MAE 框架的深度改良。研究团队发现，原始设计中较弱的解码器限制了编码器的潜力。因此，Pixio 显著增强了解码器功能，并采取了激进的 "大面积遮罩" 策略。不同于以往细碎的遮挡，Pixio 将图像中的大片连续区域进行遮蔽。这种做法迫使模型放弃简单的像素复制，转而必须真正 "脑补" 出物体共现关系、3D 透视以及光影反射等深层空间逻辑。

![Google_AI_Studio_2025-12-29T03_20_15.559Z.png](https://static.downly.cn/images/fbd1d8a431277ae5e4d513426fd8b8e6.png)
 <center>图源备注：图片由AI生成</center>

## 拒绝刷分 动态频率调整的数据哲学

在训练策略上，Pixio 展现出一种反直觉的纯粹性。它没有针对 ImageNet 等特定基准测试进行 "应试教育"，而是从网络收集了 20 亿张图像进行广泛学习。

为了提升模型对物理世界的理解，团队采用动态频率调整机制：降低简单产品白底图的训练权重，大幅增加复杂场景图片的出现频次。这种不为 "刷分" 而生的训练方式，反而赋予了模型惊人的迁移能力。数据表明，仅有 6.31 亿参数的 Pixio 在单目深度估计准确率上提升了 16%，在单张图像 3D 重建任务中，甚至优于使用八视角训练的 8.41 亿参数 DINOv3。

![Google_AI_Studio_2025-12-29T03_20_19.212Z.png](https://static.downly.cn/images/307d8a77d79ac308562665024a6ad2a8.png)
 <center>图源备注：图片由AI生成</center>

## 机器人领域的潜力

Pixio 的优势不仅停留在屏幕上，更延伸到了物理世界。在机器人学习领域的测试中，Pixio 以 78.4% 的成功率领先于 DINOv2。这表明，回归像素重建的本质，往往能通向更深层的视觉理解。尽管目前人工掩蔽存在局限，但 Pixio 为视觉大模型指明了一条 "大道至简" 的新方向。

Meta发布Pixio 像素级重构挑战视觉AI复杂论


> **导语**
> 英伟达 AI 团队近日再度突破界限，推出开放视觉行动基础模型 NitroGen。该模型通过学习 40,000 小时的海量视频数据，无需代码介入即可掌握游戏操控逻辑，为通用游戏智能体的构建提供了全新的技术范式。

## 视频即数据 重新定义游戏AI训练逻辑

传统游戏 AI 的训练往往依赖于对游戏内部接口的深度挖掘或定制化开发，而 NitroGen 走了一条更为通用的 "人类视角" 路线。该模型的核心构建始于对公开游戏视频的深度挖掘。

研究团队构建了一个庞大的数据管道，收集了总计 71,000 小时的原始视频素材。经过严格的质量过滤，最终提炼出 40,000 小时的精选数据。这些数据涵盖了 818 位创作者上传的 38,739 个视频，跨越了 846 款截然不同的游戏。数据分布显示，动作角色扮演类游戏（ARPG）占据主导地位，占比达 34.9%，其次是平台跳跃类（18.4%）和动作冒险类（9.2%）。这种多样化的数据构成，为模型理解复杂的 3D 空间关系和操作逻辑奠定了基础。

![Google_AI_Studio_2025-12-29T03_18_39.132Z.png](https://static.downly.cn/images/ff17838482696f5dbdf98f93f0b067bd.png)
 <center>图源备注：图片由AI生成</center>

## 三阶段提取 并不是简单的模仿

NitroGen 并非简单地 "看" 视频，而是通过一套精密的三阶段提取流程来 "理解" 操作。

首先，系统利用 300 个标准化的控制器模板，在视频画面中精准定位游戏手柄的 UI 叠加层。随后，基于 SegFormer 的分类分割模型会对这一区域进行深度解析，将视觉信号转化为具体的按键指令。最后，通过坐标精细化处理，确保动作预测的毫秒级准确性。这一流程让 NitroGen 具备了大规模行为克隆的能力，使其能够像人类玩家一样，仅凭画面反馈做出决策。

此外，随模型发布的还有一个通用模拟器。它能将商业 Windows 游戏无缝封装为兼容 Gymnasium 的接口，实现逐帧互动而无需修改任何底层代码，极大地降低了跨游戏策略迁移的门槛。

![Google_AI_Studio_2025-12-29T03_18_52.433Z.png](https://static.downly.cn/images/44511532641526f940446290039dc39d.png)
 <center>图源备注：图片由AI生成</center>

## 扩散架构驱动 性能与迁移能力的双重飞跃

在架构层面，NitroGen 采用了基于 Diffusion Transformer 的先进策略，专门针对 256×256 分辨率的 RGB 图像进行优化。这种架构选择使得模型在生成动作策略时具备了极高的鲁棒性。

实测数据显示，NitroGen 在多个零样本（Zero-shot）评估任务中表现优异，任务完成率稳定在 45% 至 60% 之间。更令人瞩目的是其迁移学习能力：当应用于一款从未见过的全新游戏时，经过预训练的 NitroGen 相较于从头开始训练的模型，性能提升幅度高达 52%。这证明了该模型不仅记忆了操作，更习得了通用的游戏交互逻辑。

英伟达发布NitroGen 视觉大模型开启游戏AI新纪元

美图推出的AI视觉大模型，支持AI图像、设计和视频创作

搜索结果: 视觉大模型