
> **导语**
> 英伟达 AI 团队近日再度突破界限，推出开放视觉行动基础模型 NitroGen。该模型通过学习 40,000 小时的海量视频数据，无需代码介入即可掌握游戏操控逻辑，为通用游戏智能体的构建提供了全新的技术范式。

## 视频即数据 重新定义游戏AI训练逻辑

传统游戏 AI 的训练往往依赖于对游戏内部接口的深度挖掘或定制化开发，而 NitroGen 走了一条更为通用的 "人类视角" 路线。该模型的核心构建始于对公开游戏视频的深度挖掘。

研究团队构建了一个庞大的数据管道，收集了总计 71,000 小时的原始视频素材。经过严格的质量过滤，最终提炼出 40,000 小时的精选数据。这些数据涵盖了 818 位创作者上传的 38,739 个视频，跨越了 846 款截然不同的游戏。数据分布显示，动作角色扮演类游戏（ARPG）占据主导地位，占比达 34.9%，其次是平台跳跃类（18.4%）和动作冒险类（9.2%）。这种多样化的数据构成，为模型理解复杂的 3D 空间关系和操作逻辑奠定了基础。

![Google_AI_Studio_2025-12-29T03_18_39.132Z.png](https://static.downly.cn/images/ff17838482696f5dbdf98f93f0b067bd.png)
 <center>图源备注：图片由AI生成</center>

## 三阶段提取 并不是简单的模仿

NitroGen 并非简单地 "看" 视频，而是通过一套精密的三阶段提取流程来 "理解" 操作。

首先，系统利用 300 个标准化的控制器模板，在视频画面中精准定位游戏手柄的 UI 叠加层。随后，基于 SegFormer 的分类分割模型会对这一区域进行深度解析，将视觉信号转化为具体的按键指令。最后，通过坐标精细化处理，确保动作预测的毫秒级准确性。这一流程让 NitroGen 具备了大规模行为克隆的能力，使其能够像人类玩家一样，仅凭画面反馈做出决策。

此外，随模型发布的还有一个通用模拟器。它能将商业 Windows 游戏无缝封装为兼容 Gymnasium 的接口，实现逐帧互动而无需修改任何底层代码，极大地降低了跨游戏策略迁移的门槛。

![Google_AI_Studio_2025-12-29T03_18_52.433Z.png](https://static.downly.cn/images/44511532641526f940446290039dc39d.png)
 <center>图源备注：图片由AI生成</center>

## 扩散架构驱动 性能与迁移能力的双重飞跃

在架构层面，NitroGen 采用了基于 Diffusion Transformer 的先进策略，专门针对 256×256 分辨率的 RGB 图像进行优化。这种架构选择使得模型在生成动作策略时具备了极高的鲁棒性。

实测数据显示，NitroGen 在多个零样本（Zero-shot）评估任务中表现优异，任务完成率稳定在 45% 至 60% 之间。更令人瞩目的是其迁移学习能力：当应用于一款从未见过的全新游戏时，经过预训练的 NitroGen 相较于从头开始训练的模型，性能提升幅度高达 52%。这证明了该模型不仅记忆了操作，更习得了通用的游戏交互逻辑。

英伟达发布NitroGen 视觉大模型开启游戏AI新纪元



> 游戏人工智能领域迎来突破性进展，NVIDIA与斯坦福大学联合发布通用智能体NitroGen。该模型通过在超1000款游戏中累计4万小时的训练，打破了传统AI“专游专练”的局限，展现出惊人的跨场景泛化能力。研究团队同步宣布完全开源相关数据集与模型权重，意在加速全球通用智能研究进程。

## 通用智能体 终结“一游一练”时代

长期以来，游戏AI研发面临的主要瓶颈是通用性缺失，强化学习模型通常需要针对特定游戏环境从头训练。NitroGen的问世改变了这一格局，其核心竞争力在于极强的环境适应性。

通过在涵盖平台跳跃、即时战略、射击竞技、解谜及模拟经营等全品类游戏环境中的高强度学习，NitroGen掌握了底层的感知、决策与操作逻辑。实验数据表明，即便面对从未见过的全新游戏，该模型也能迅速调用已有经验，快速达到人类玩家的可玩水平，实现了从“专用专家”到“全能玩家”的跨越。

![Google_AI_Studio_2025-12-27T02_58_10.468Z.png](https://static.downly.cn/images/836fbf98aa6cc29781b85b900ee56ea8.png)

<center>图源备注：图片由AI生成</center>

## 数据开源 构筑科研基础设施

NitroGen的成功离不开高质量数据的支撑。为了推动行业共同进步，研究团队发布了名为GameVerse-1K的庞大通过数据集。该数据集包含了超过1000款商业及开源游戏的完整交互记录，汇总了人类玩家与AI长达4万小时的对战影像。

更为关键的是，每一帧画面都与其对应的操作指令、奖励反馈及状态元数据进行了毫秒级的精准对齐。目前，所有代码、模型权重及数据资源均已上传至GitHub与Hugging Face，向全球开发者和研究机构免费开放，支持非商业性质的学术探索。

## 技术突破 纯视觉方案迈向AGI

在技术架构上，NitroGen采用了极具前瞻性的纯视觉输入方案（Pixel-only）。它不依赖游戏内部API或底层状态代码，而是像人类一样通过“看”屏幕来玩游戏。同时，团队设计了统一的动作抽象层，将键盘、手柄、触屏等复杂的输入方式映射为标准化的动作空间。

AIbase观点指出，游戏作为高维、动态的复杂模拟环境，是训练通用人工智能（AGI）的最佳试验场。NitroGen所验证的“大规模预训练+快速迁移”范式，其应用前景远超娱乐领域，未来有望直接迁移至机器人控制、自动驾驶及工业仿真等物理世界场景。

英伟达联手斯坦福开源通用游戏AI NitroGen打破单一模型桎梏


>导语
英伟达推出基于OpenVision的通用游戏智能体NitroGen，该模型通过分析YouTube和Twitch上超过4万小时带控制器图层的游戏视频，学会了跨不同游戏类型的操作逻辑。测试显示，其在陌生环境中的表现比传统模型高出52%，相关代码与数据已全部开源。

## 从视频旁观者到全能操作者

为了让NitroGen掌握复杂的操控逻辑，研究团队挖掘了一个此前被学术界忽视的数据宝库 YouTube和Twitch上带有控制器叠加层的游戏视频。

通过分析1000多款游戏、总计超过4万小时的玩家录像，NitroGen学会了如何根据视觉反馈直接生成操作指令。AIbase了解到，研究人员利用模板匹配和微调后的SegFormer模型，精准地从海量视频中提取出了玩家的实时按键输入数据，实现了从“看”到“玩”的进化。

![Google_AI_Studio_2025-12-22T02_20_42.284Z.png](https://static.downly.cn/images/d0e53ac43072e665b84487cadbbfe42a.png)
<center>图源备注：图片由AI生成</center>

## 跨平台适应力与卓越性能

在技术架构上，NitroGen深度集成了英伟达此前发布的GR00T N1.5机器人模型，这赋予了它强大的跨平台适应能力。测试数据显示，无论是动作角色扮演、平台跳跃还是Roguelike等风格迥异的游戏，它都能轻松驾驭。

即使被置于完全陌生、未曾见过的游戏环境中，它的表现也比从头训练的模型成功率高出52%。这一结果充分证明了机器人基础模型在虚拟环境中的通用性，不再局限于单一任务。

## 全面开源推动行业发展

目前，这支由英伟达、斯坦福及加州理工学院等顶尖学术机构组成的联合研究团队，已正式将该项目的论文、代码及相关数据集开源。这一举措旨在为全球AI社区在具身智能和通用代理领域的进一步探索提供重要基石。

搜索结果: NitroGen