> 近日，北京大学和加州大学伯克利分校的研究团队联合发布了一项对当前最强大型语言模型驱动的 Agent（AI 智能体）的全面评测结果。 通过名为 **IDA-Bench** 的严格基准测试，研究发现，即使是顶尖的 Agent 在复杂环境下的表现也远不及人类水平，最高得分仅为 **40 分（满分 100 分）**，揭示了当前 AI Agent 在智能决策、自主探索和复杂任务处理能力上的瓶颈与未来发展方向。



随着大型语言模型 (LLM) 技术的飞速发展，能够自主规划、执行复杂任务的 AI 智能体 (Agent) 正成为人工智能领域的新焦点。 它们被寄予厚望，有望在各个领域取代人类完成重复性、复杂性的工作。 然而，这些“最强大脑”的实际能力究竟如何？

[开源地址](https://github.com/lhydave/IDA-Bench)
![image.png](https://static.downly.cn/images/9d1d331239d89bb393d516833fe76ba3.png)



### IDA-Bench 一项全新的Agent评测基准

为了更准确地评估 AI Agent 的真实能力，研究团队设计了 IDA-Bench。 这一基准测试与以往的评测方法有显著不同

*   **复杂、开放式任务** IDA-Bench 不仅仅是评估模型生成文本的能力，而是聚焦于 Agent 在**多步骤、开放式**且需要**自主决策和探索**的复杂环境中的表现。 例如，Agent 可能需要在给定指令下，通过与环境交互来解决谜题、完成挑战。
*   **指令驱动决策** 评测的核心是 Agent 理解并遵循人类指令的能力，以及在执行指令过程中，面对未知和不确定性时，如何进行有效的决策和规划。
*   **多维度评估** 评估维度涵盖了 Agent 的任务完成度、探索效率、决策智能性等多个方面，力求全面反映 Agent 的实际操作能力。

通过引入这些挑战性的元素，IDA-Bench 旨在模拟真实世界中 Agent 可能面临的复杂场景，从而更客观地衡量它们的智能水平。

### 最强Agent也只有40分 远不及人类表现

测试结果令人深思。 在 IDA-Bench 的各项任务中，即使是基于目前最先进的大型语言模型构建的 Agent，其表现也显得力不从心

*   **最高得分仅40分** 在所有参评的 Agent 中，表现最好的也只获得了 40 分（满分 100 分），与人类轻松达成高分形成鲜明对比。 这意味着在许多复杂任务上，Agent 仍然难以胜任。
*   **智能决策与规划不足** Agent 在面对需要多步推理、长程规划和灵活应变的任务时，尤其显得力不从心。 它们往往难以理解指令的深层含义，或在执行过程中陷入局部最优，无法找到全局最佳解决方案。
*   **自主探索能力欠缺** 在开放式环境中，Agent 缺乏高效的自主探索策略，容易遗漏关键信息或重复无效操作，导致任务失败。

![image.png](https://static.downly.cn/images/50512910d466306b2c94947f73a1c3ff.png)

这些结果表明，尽管大模型在语言理解和生成方面取得了巨大进步，但将其应用于复杂的具身或模拟环境中，使其真正具备“智能”行为，仍面临巨大挑战。

### 当前Agent的瓶颈与未来发展方向

这项研究不仅揭示了当前 AI Agent 的能力短板，也为未来的研究指明了关键方向

#### 1. 强化长程规划与推理能力

目前的 Agent 往往只能进行短期的、局部性的规划。 未来需要研究更强大的规划算法，使 Agent 能够理解任务的全局目标，并制定多步骤、长期的执行策略。

#### 2. 提升自主探索与环境感知能力

Agent 需要更智能的探索机制，能够高效地收集环境信息，并利用这些信息进行决策。 结合视觉、听觉等多模态感知能力，将有助于 Agent 更好地理解复杂环境。

#### 3. 增强容错与适应性

真实世界充满不确定性。 Agent 需要具备更强的容错能力，能够在遇到意外情况或错误时，进行自我纠正和适应性调整，而不是直接失败。

#### 4. 融合世界模型与具身智能

将类似于 Meta AI V-JEPA 2 这样的“世界模型”融入 Agent，使其能够对环境的动力学进行预测，从而更好地规划和执行任务，是未来研究的重要方向。 让 Agent 不仅仅是“回答问题”，而是真正能够“行动”起来。



### 展望 更智能的AI Agent未来可期

北大与伯克利分校的这项研究，如同一面镜子，清晰地反映了当前 AI Agent 发展所处的阶段。 它提醒我们，尽管取得了巨大进步，但要实现真正通用、自主的 AI Agent，仍有漫长的道路要走。 这项工作为研究人员提供了宝贵的基准和研究方向，有望加速下一代更强大、更智能的 AI Agent 的诞生，使其未来能真正成为人类的得力助手。




北大伯克利联手“拷问”大模型：最强Agent也才40分

> 近日，Meta AI 正式发布了其颠覆性的**视频联合嵌入预测架构 V-JEPA 2** (Video Joint Embedding Predictive Architecture2)。 作为其世界模型战略的关键一步，V-JEPA 2 能够通过**非生成式学习**理解和预测视频内容，不仅在视频理解任务上表现卓越，更在数据效率和泛化能力上展现出巨大潜力，特别是能赋能**机器人在陌生环境中的零样本规划**，有望推动 AI 领域向更接近人类智能的方向发展。



在人工智能领域，构建能够像人类一样理解世界、预测未来事件的“世界模型”一直是研究的圣杯。 近日，互联网巨头 Meta AI 在这一宏伟目标上迈出了关键一步，正式发布了其最新成果——**V-JEPA 2 (Video Joint Embedding Predictive Architecture2)**。 作为 Meta AI 首席科学家 Yann LeCun 倡导的联合嵌入预测架构 (JEPA) 理念在视频领域的重要实践，V-JEPA 2 的出现，预示着 AI 对复杂动态世界的理解能力将达到一个新的高度，尤其对于**机器人在陌生环境中自主执行任务**具有里程碑式的意义。

<video src="https://static.downly.cn/images/c859cc99f1929a0984f111882da40833.mp4"  title="30448618124-1-16.mp4"></video>

V-JEPA 2 的核心突破在于其**非生成式学习范式**，它避开了传统生成模型在预测像素点上的高计算成本和潜在误差累积，而是通过学习视频片段之间的抽象表示来理解和预测世界，这使其在效率和泛化能力上具有显著优势，进而支撑了其在机器人具身智能领域的重大应用潜力。
[开源地址](https://github.com/facebookresearch/vjepa2)
![image.png](https://static.downly.cn/images/e461164bcc3cf343f15061ed3b7b492f.png)

### 非生成式学习 V-JEPA 2 的核心范式

与目前流行的通过生成缺失像素或帧来预测内容的“生成式”模型不同，V-JEPA 2 采用了**非生成式**的自监督学习方法。 这种方法的核心思想是

*   **学习抽象表示** V-JEPA 2 不会试图精确地“画出”视频中缺失的部分，而是通过学习视频中不同片段的**联合嵌入 (Joint Embedding)**，来预测未来或被遮挡的视频帧的**高级抽象表示**。
*   **避免高维噪声** 生成式模型需要处理像素级别的高维细节，容易受到噪声和微小扰动的影响。 非生成式方法则专注于学习语义信息和结构关系，大大提高了学习效率和模型的鲁棒性。

这种学习方式使得 V-JEPA 2 能够高效地从海量视频数据中学习世界的动力学和因果关系，而无需耗费巨大资源去“重建”每一个像素。

### V-JEPA 2 的卓越性能与潜力

V-JEPA 2 的发布，不仅是理论上的突破，更在实际应用中展现出强大的性能和潜力

#### 1. 顶尖的视觉理解和预测能力

V-JEPA 2 在视频理解任务上表现出领先的性能，能够更好地理解视频中的动作、事件和对象之间的关系，从而在行为识别、动作检测等下游任务中提供高质量的特征表示。 其强大的视觉理解和预测能力，使其能够精准地把握动态环境中的关键信息，为高层决策提供支撑。

#### 2. 实现机器人在陌生环境中的零样本规划

这是 V-JEPA 2 最令人兴奋的应用前景之一。 凭借其卓越的视觉理解和预测能力，V-JEPA 2 能够帮助机器人在**不熟悉的环境中**进行**零样本规划 (zero-shot planning)**，即无需事先对新环境进行大量训练或编程，机器人也能规划并执行复杂任务。 这意味着，当机器人被部署到一个全新的、未曾见过的场景时，它可以通过 V-JEPA 2 对环境进行实时理解和预测，从而自主制定行动方案，大大提升了机器人的自主性和适应性。

![image.png](https://static.downly.cn/images/e3bc58ba2d3b4d80c6c93ab9f6686675.png)

#### 3. 高效的数据利用率与强大的泛化能力

由于 V-JEPA 2 不需要进行像素级别的精确生成，它在学习过程中对数据的需求更为高效。 这意味着即使面对有限的数据集，V-JEPA 2 也能学习到有用的世界知识，降低了训练成本和时间。 同时，非生成式学习使得模型能够学习到更本质、更泛化的世界规律。 当应用于新的、未见过的数据或场景时，V-JEPA 2 也能保持良好的表现，展现出优秀的泛化能力，这对于机器人从模拟环境到真实世界的迁移至关重要。


### 世界模型战略的关键一步

V-JEPA 2 的发布，是 Meta AI 推动其“世界模型”战略向前迈出的重要一步。 Yann LeCun 曾多次强调，构建能够像人类一样理解世界并进行预测的 AI 模型，是实现真正通用人工智能的关键。

*   **向人类智能靠拢** 人类智能的一个核心特征是能够预测即将发生的事情，即使没有完整的感官输入。 V-JEPA 2 试图模仿这种能力，通过学习抽象表示来预测视频中的未来事件，使其更接近人类的直觉和理解，特别是能将这种理解应用于具身智能体。
*   **赋能具身智能** 对于机器人等具身 AI 而言，能够理解动态环境并预测未来状态的能力至关重要。 V-JEPA 2 提供的顶尖视觉理解和零样本规划能力，是实现机器人自主学习、自主决策和自主行动的基础，有望加速通用机器人的实现。
*   **更安全的 AI** 相较于生成式模型，基于预测抽象表示的模型在处理错误时更具鲁棒性，也可能更容易被理解和控制，从而为构建更安全、更可信的 AI 系统奠定基础。



V-JEPA 2 的发布，不仅是 Meta AI 在深度学习基础研究上的又一里程碑，也为整个 AI 社区指明了一个激动人心的研究方向。 随着这类模型的不断发展，我们有理由相信，能够真正理解并预测世界的 AI，以及能够因此在复杂环境中自主行动的机器人，将不再是遥不可及的梦想。



搜索结果: V-JEPA 2