

> 抛弃传统的复杂采样机制，新一代DiT架构直接在像素层面实现精准控制与高效生成。底层范式的革新不仅大幅压缩了渲染算力成本，更为下一代端侧AI视觉硬件铺平了道路。

## 挣脱潜在空间的算力损耗与失真桎梏

长久以来，主流的视觉生成大模型高度依赖潜在扩散架构。为了规避庞大的计算量，传统模型通常先将高维的图像数据压缩到一个低维的潜在空间中进行扩散去噪，最后再通过解码器将其还原为像素。然而，这种“先压缩后还原”的妥协之举，不可避免地带来了细节丢失与高频信息的模糊，成为高保真视觉生成的阿喀琉斯之踵。

英伟达此次在CVPR亮相的PixelDiT架构，正是对这一底层顽疾的正面强攻。它摒弃了传统的U-Net网络，全面拥抱Transformer架构（DiT），并极其激进地将处理维度直接拉回到原始的像素空间。通过重新设计的注意力机制与极致优化的并行计算调度，PixelDiT在不牺牲生成质量的前提下，生生扛住了直接在像素级操作带来的恐怖计算复杂度，实现了从“有损压缩生成”到“无损原生生成”的技术跨越。

![32.png](https://static.downly.cn/images/d398610fdd5c21276bd19c624478017b.png)
 <center>图源备注 图片由AI生成</center>

## 架构范式的演进与尺度定律的胜利

PixelDiT的成功入围，绝非单纯的算法微调，而是大模型领域“尺度定律”在视觉生成方向的又一次伟力证明。传统网络在扩展模型参数量时往往会遇到性能瓶颈，而基于Transformer的DiT架构天生具备极佳的可扩展性。只要持续喂入更多的算力与更高质量的数据，其生成保真度与语义对齐能力就能实现近乎线性的提升。

更核心的突破在于，直接操作像素意味着模型能够更敏锐地捕捉到光影、纹理等微观物理规律。对于需要极高视觉精度的工业设计、医疗影像分析甚至影视级特效渲染而言，这种无需经过编码器二次翻译的直出能力，彻底打通了AI生成内容与专业级生产管线之间的壁垒。

![33.png](https://static.downly.cn/images/0caf054ce6e95cd3444aa24f8aedf2d7.png)
 <center>图源备注 图片由AI生成</center>

## 端侧渲染重塑与底层硬件生态的护城河

作为底层算力的绝对霸主，英伟达推出PixelDiT的野心远不止于发表一篇顶级学术论文。这项底层架构的革新，本质上是对其自身硬件生态的一次精妙反哺。像素级DiT对显存带宽与张量核心的调度有着极其严苛的要求，这恰好完美契合了英伟达最新一代GPU的硬件特性。

随着PixelDiT的开源与普及，下游开发者将能够以更低的试错成本开发出具备极高视觉质量的应用。更重要的是，通过底层算子的优化，这种原本只能在云端集群运行的庞然大物，正逐步显露出在边缘设备上部署的潜能。当高质量的像素级生成成为端侧设备的标配，整个视觉AI行业的商业逻辑与产品交互形态，必将迎来一场前所未有的重构。

英伟达PixelDiT架构入围CVPR 扩散模型在像素级生成领域的底层跃迁


> 从二维平面跃升至三维空间，Meta用开源精神再次狙击了封闭生态。这项技术的突破，意味着机器视觉真正懂得了物理世界的几何规则。

## 撕破像素牢笼 从扁平视界到立体感知
过去十年的机器视觉研究，大多像是在教一个二维生物认识世界。无论是多么先进的图像识别算法，它们本质上都只是在计算一堆彩色像素在平面上的排列组合。直到通用分割模型的横空出世，以零样本泛化能力统一了二维视界，但物理世界的厚度与景深依然是横在AI面前的叹息之墙。

此次获学术顶会提名的SAM 3D架构，标志着计算机视觉正式完成了一次暴烈的“升维打击”。算法不再局限于在一张静态照片上画框，而是能够直接处理点云数据，在复杂的三维空间中精准地剥离出目标实体。这意味着AI终于长出了能够理解深度、体积与空间遮挡关系的“真实双眼”。

![82.png](https://static.downly.cn/images/b4a5ce5d9c47e53c73f21bc41044ecc5.png)
 <center>图源备注 图片由AI生成</center>

## 底层架构的暴力美学与几何直觉的涌现
剖析其技术内核，该模型的强悍在于它巧妙地打通了多模态特征的对齐映射。它并没有抛弃二维时代积累的海量常识，而是通过极其创新的注意力机制，将二维语义特征强行且无损地投射到三维物理坐标系中。

技术高光　这种架构创新极大地降低了三维数据的昂贵标注成本。过去的3D训练需要人工在软件里极其痛苦地框选边界，而现在，该模型展现出了一种令人毛骨悚然的“几何直觉”。只需给出简单的文字指令或空间坐标点，它就能像一把无形的数字手术刀，沿着物体的真实物理轮廓将其精准切割，即使面对错综复杂的工业零件也能游刃有余。

![83.png](https://static.downly.cn/images/8a3bda5de20f1b6b86ebb496e5e0ba32.png)
 <center>图源备注 图片由AI生成</center>

## 降维打击封闭生态 空间计算的底层重构
Meta凭借这项技术的持续迭代与极客般的开源精神，再次扮演了硅谷“搅局者”的角色。在硬件巨头试图通过极其封闭的头显设备建立空间计算垄断壁垒的当下，Meta直接将最核心的3D场景理解能力作为基础设施向全行业抛出。

演进方向　这项底层突破将引发多个实体产业的连锁反应。在自动驾驶领域，对复杂路况的三维实体分割将变得前所未有地廉价，传统纯视觉算法的短板被大幅弥补；在具身智能赛道，机器人将真正理解它要抓取的物体在现实空间中到底占据了怎样的体积。Meta看似放弃了算法的直接变现，实则正在悄然定义下一代空间互联网的视觉底层标准。

Meta视觉大模型获CVPR提名 图像分割升维革命与空间计算的开源刺客


> 当 Scaling Law 在物理世界生根发芽，英伟达正在用纯粹的算力暴力破解具身智能的泛化难题。从抓取到自动驾驶，合成数据与端到端模型成为跨越现实鸿沟的新破局点。

## 打破 Sim2Real 的魔咒 合成数据的降维打击

长期以来，具身智能（Embodied AI）面临着一个幽灵般的瓶颈——Sim2Real（从仿真到现实）鸿沟。机器人在虚拟环境里翻跟头如履平地，一到真实物理世界就变得像个醉汉。在 CVPR 2026 上，英伟达研究院一口气抛出的三篇重磅论文，向外界展示了他们如何用极致的算力和仿真引擎，硬核拔除这根行业肉中刺。

英伟达的核心解法非常“大力出奇迹”　既然真实世界的长尾物理数据（摩擦力、光照、不规则形变）极度匮乏且昂贵，那就利用 Omniverse 等底层仿真平台，通过 GPU 并行计算生成海量且高度还原物理定律的合成数据。在关于机械臂抓取的论文中，他们摒弃了传统的模块化规则控制，转而让模型在千万次亿级参数的物理引擎碰撞中自我纠错。这种规模化训练（Scale-up）直接将泛化能力拉升到了一个前所未有的维度，使得机器人在面对从未见过的异形物体时，也能凭借“肌肉记忆”瞬间找到最优抓取点。

![52.png](https://static.downly.cn/images/3ec4c1a2b0bc264372513deccacd0b50.png)
<center>图源备注 图片由AI生成</center>

## 端到端重塑自动驾驶 剔除人工规则的傲慢

而在自动驾驶与智能体泛化的论文中，英伟达的架构创新点同样直击要害。过去的自动驾驶系统犹如一条冗长的流水线，感知、决策、控制被切割成不同的模块，各模块之间不可避免地存在信息折损与规则冲突。

架构突破　英伟达展示的最新进展，是坚决贯彻“端到端”（End-to-End）范式。将摄像头、雷达等传感器的高维数据直接喂给一个统一的大型神经网络，直接输出方向盘转角与油门力度。他们通过极大规模的多模态预训练，让模型在无数的虚拟危险边缘疯狂试探。这解决了过去遇到“边缘场景”（Corner Cases）时，人工编写的规则代码陷入死循环的技术死结。AI 不再是照本宣科的学员，而是真正学会了像人类老司机一样基于直觉和经验进行预判。

## 务实预测 物理世界算力霸权的确立

这三篇论文不仅是学术上的炫技，更是英伟达在具身智能时代打出的算力底牌。

我们可以务实地推演，未来两年内，机器人公司的研发重心将发生剧变。绝大多数创业公司将放弃自己辛辛苦苦在实验室收集现实世界数据的愚公移山之举，转而全面拥抱英伟达提供的虚拟训练场。算力的消耗将从云端的文本生成，呈几何级数转移到复杂三维物理环境的模拟运算中。谁掌握了最高效的物理引擎和最庞大的 GPU 集群，谁就掌握了下一代机器人的“灵魂炼丹炉”。

![53.png](https://static.downly.cn/images/05ff76a25469f0eb06590ed75112fbd7.png)
<center>图源备注 图片由AI生成</center>

英伟达 CVPR 三篇论文解析 规模化训练如何突破具身智能与自动驾驶瓶颈



> 智元机器人推出的新一代具身基座大模型从根本上重塑了机器人的思考路径。通过引入高频纠偏的异步双系统，该技术不仅在多项权威基准测试中拔得头筹，更为产业级落地提供了坚实底座。

## 突破边看边做传统局限

具身智能领域的底层逻辑正在被重新书写。智元机器人于4月9日正式揭晓了其呕心沥血打造的新一代具身基座大模型Genie Operator-2。这款被简称为GO-2的模型，肩负着彻底打通从高阶逻辑推理到末端精准物理执行最后一道屏障的行业使命。

其最核心的技术突破在于业界首创的动作思维链机制。有别于传统端到端模型依靠直接输出底层电机控制信号的边看边做模式，GO-2被赋予了类似人类想清楚再动的前瞻性思考能力。在接收到环境输入后，模型会率先在虚拟认知空间中生成一段高度结构化的全局动作序列规划。这种将物理感知与动作空间推理深度解耦的开创性思路，凭借其卓越的泛化能力，其学术论文已正式被全球顶尖人工智能学术会议CVPR2026收录。

![42.png](https://static.downly.cn/images/5828d48a5e13c05461e543165fe73d0d.png)
 <center>图源备注：图片由AI生成</center>

## 异步双系统保障极致微调

为了将在虚拟空间中完美规划的思维链在充满不确定性的现实物理世界中平稳落地，研发团队为GO-2量身定制了一套精密协同的异步双操作系统架构。

其中被定义为智囊的慢系统，以较低的时钟频率运行，专注于处理宏观任务节点，持续向外输出具备长周期逻辑支撑的动作意图流。而充当肌肉的快系统则保持极高频的轮询状态，时刻比对真实环境与慢系统规划的偏差。一旦在执行过程中遭遇目标物体意外滑动或操作台高度微小形变等突发状况，快系统便能在毫秒级进行瞬时微调补偿，确保机械臂最终的物理轨迹与预设的意图严密贴合。

![43.png](https://static.downly.cn/images/011159d083b7e9aad1df2ee6dece029d.png)
<center>图源备注：图片由AI生成</center>

## 霸榜评测与产业量产愿景

硬核的技术革新直接转化为了评测榜单上的统治级数据。在衡量具身模型综合实力的LIBERO Benchmark权威基准测试中，GO-2在四类极其严苛的交互任务中横扫千军，以平均98.5%的惊人成功率登顶全球第一。在另一项内部仿生测试Genie Sim3.0中，该模型仅依靠纯仿真合成数据进行预训练，便在真实物理环境迁移测试中斩获了82.9%的成功率，在零样本泛化指标上显著拉开了与同赛道竞品模型的差距。

更具长远意义的是，智元构建了一套依托Genie Studio平台的分布式进化闭环。通过在复杂的真实产业线中持续汲取交互反馈，GO-2正在从一个封闭的实验室产物加速蜕变为具备持续自学习能力的通用大脑，真正拉开了机器人从纸上谈兵迈向精准改变物理世界的工业新纪元大幕。

智元GO-2模型重磅首发 动作思维链刷新具身智能执行天花板



> 面对AI多镜头连贯性危机，入选CVPR的STAGE框架以起始与结束帧对预测取代传统关键帧，让算法真正掌握导演级分镜转场艺术。

## 视觉狂欢背后的多镜头连贯性危机

从Sora到Seedance 2.0，视频生成大模型的视觉表现力屡创巅峰，但当创作者试图用其拼接一个完整故事时，叙事连贯性的短板便暴露无遗。目前行业主流的多镜头生成方案主要分为两条路线 一镜到底的端到端生成以及基于关键帧的分布演进。前者计算成本极其高昂且宛如开盲盒，创作者几乎无法控制中间过程；后者虽然提供了操作灵活性，但模型往往只能死板地记住几个核心画面的样貌，完全缺乏对镜头衔接逻辑的理解。

这种机制上的缺陷，直接导致了生成视频中频繁出现灾难性的画面断层。前一个镜头人物穿着红衣，下一个镜头便发生色彩跳跃，或者在推进特写时物体出现不符合物理规律的瞬移。这种现象的本质在于，当前的AI依然停留在画单帧的阶段，缺乏专业导演对镜头起承转合的统筹能力。

![12.png](https://static.downly.cn/images/30f2378974266a12a56184c639ce513c.png)

<center>图源备注：图片由AI生成</center>

## 骨架重塑与双帧预测的叙事革命

为了解决跨镜头逻辑断裂的痛点，研究团队提出了以电影分镜为核心的叙事生成框架STAGE。该框架彻底抛弃了稀疏关键帧的传统路径，创新性地将生成任务重构为起始帧与结束帧对的联合预测。

对于每一个独立的镜头，STAGE不再仅仅输出一个极具代表性的画面，而是直接锚定镜头的首尾两帧。这一机制的转变带来了显著的结构化优势。所有镜头的首尾帧依次串联，在时间轴上搭建起极其稳固的视觉骨架，从根本上锁定了角色特征与场景元素的长期一致性。同时，首尾两帧的明确界定，为镜头内部的动态演变提供了清晰的导航航向，让平移、推拉等复杂运镜有了明确的物理终点。更重要的是，前一镜头的结束与后一镜头的起始之间形成了直接的映射关系，对影视剪辑中的转场语言进行了深度数学建模，使画面衔接呈现出丝滑的电影质感。

![13.png](https://static.downly.cn/images/25440b28c6a083b0371382bbabbb5be4.png)

<center>图源备注：图片由AI生成</center>

## 赋予算法导演思维的三大核心技术

支撑这一工作流运转的是被称为STEP2的核心预测模型。为了让这个数字导演具备专业级的场面调度能力，研究团队为其植入了三项关键技术。

多镜头记忆包机制是第一道保障。该技术通过高效的压缩算法，将冗长的历史镜头视觉信息打包提炼，确保算法在渲染后续镜头时依然能准确回溯初始场景的细节，成功规避了角色特征在长程叙事中的偏移风险，同时大幅降低了算力开销。

双重编码策略保障了运镜的平滑。为了保障单镜头内部的运动逻辑自洽，系统将起始帧与结束帧进行深度捆绑和联合编码，使得算法在动笔生成的第一秒，就已经完成了对整个镜头运动轨迹的全局推演。

阶梯式的两阶段训练方案提升了审美下限。第一阶段依靠海量影视片段进行监督微调，赋予模型基础的运镜能力；第二阶段则引入人类偏好对齐机制，投喂经过精挑细选的优质转场案例，让算法在海量阅片中建立起对高级电影感的美学认知。

![14.png](https://static.downly.cn/images/89882420fce1bd923e1147415b214a54.png)

<center>图源备注：图片由AI生成</center>

## 高质量数据集奠定工业化应用基石

为了配合全新的训练逻辑，研究团队放弃了传统聚焦于单帧画面的数据集，独立构建了规模庞大的多镜头视频库。该图库涵盖了十万个高质量电影片段，不仅对首尾帧进行了精准切分，还打上了涵盖故事推进、景别尺度、摄影机位等专业维度的结构化标签。

在行业权威的评测基准中，STAGE在场景一致性、动作流畅度以及风格维持等多个维度上，均展现出对现有主流生成工具的压倒性优势。这项技术路线的成功验证释放了一个明确的行业信号 视频生成的下半场角逐，将从单纯的像素级保真度比拼，全面转向对结构化叙事逻辑的掌控。当算法真正理解了分镜的意义，由AI辅助创作的工业级影视制作时代才真正具备了落地的可能。

告别穿帮与瞬移 STAGE框架以电影分镜重塑AI视频叙事逻辑

> 在即将到来的计算机视觉顶会 CVPR 2025 上，一项名为 SketchVideo 的创新技术引起了广泛关注。这项技术由清华大学和北京信息科学与技术国家研究中心等机构合作研发，能够将简单的手绘线稿转化为生动的视频，标志着视频生成领域进入了一个全新的“线稿时代”。

## 告别复杂 拥抱手绘

传统的视频生成方法往往需要复杂的文本描述、详细的图像输入甚至专业的建模技能。这对于非专业用户来说门槛较高，限制了创意表达。SketchVideo 的出现，有望彻底改变这一现状。它让任何人只需用简单的线条勾勒出想法，就能轻松生成个性化的视频。

![image.png](https://static.downly.cn/images/20250519033422.119944628.png)

## SketchVideo 的核心技术

SketchVideo 之所以能够实现从手绘到视频的跨越，得益于其背后融合的多项先进技术

### 线稿理解与解释

SketchVideo 能够理解用户手绘线稿中的关键信息，包括物体的形状、位置、运动轨迹等。这需要强大的计算机视觉模型来分析和解释线稿的语义。

### 视频生成模型

在理解线稿的基础上，SketchVideo 利用先进的视频生成模型，根据线稿提供的结构和动态信息，生成具有纹理、颜色和细节的视频帧序列。

### 时序一致性控制

为了确保生成的视频流畅自然，SketchVideo 引入了时序一致性控制机制，使得视频帧之间能够平滑过渡，避免闪烁或不连贯的情况。

### 用户交互与编辑

SketchVideo 还提供了用户友好的交互界面，允许用户对手绘线稿进行修改和细化，或调整生成视频的风格和参数，以实现更精准的控制。

## 突破性进展

SketchVideo 在多个方面取得了突破性进展

### 极低的输入门槛

用户只需手绘线稿即可生成视频，极大地降低了视频创作的门槛，让创意不再受限于专业技能。

### 灵活的创意表达

手绘的自由度使得用户可以轻松表达各种天马行空的创意，而无需拘泥于预设的模板或参数。

### 高效的视频制作

相比传统的视频制作流程，SketchVideo 能够快速将想法转化为视频，大幅提高了制作效率。

### 个性化的视觉风格

用户可以通过调整手绘线稿的风格或参数，影响生成视频的最终视觉效果，实现高度个性化的表达。

## 潜在应用场景

SketchVideo 的出现，有望在多个领域产生重要影响

### 动画制作

SketchVideo 可以极大地简化动画制作流程，让动画师能够快速将草图转化为动态场景。

![image.png](https://static.downly.cn/images/20250519033551.260717497.png)

### 故事板与预演

电影、广告等行业的创意人员可以利用 SketchVideo 快速生成故事板或进行视觉预演，更好地呈现创意。

### 教育与演示

教师和讲师可以利用 SketchVideo 轻松创建动态演示文稿或教学视频，提高教学效果。

### 个性化内容创作

普通用户可以利用 SketchVideo 创作独具风格的个性化短视频，用于社交媒体分享或创意表达。

## 结论与展望

SketchVideo 的发布标志着视频生成技术向着更自由、更便捷的方向迈出了重要一步。它将手绘的直观性和创造性与先进的 AI 技术相结合，为用户提供了一种全新的视频创作方式。随着技术的不断发展和完善，SketchVideo 有望在未来的创意产业、教育领域和个人内容创作中发挥越来越重要的作用。我们期待在 CVPR 2025 上看到更多关于 SketchVideo 的精彩展示和深入探讨。

搜索结果: CVPR