> 近日，北京大学和加州大学伯克利分校的研究团队联合发布了一项对当前最强大型语言模型驱动的 Agent（AI 智能体）的全面评测结果。 通过名为 **IDA-Bench** 的严格基准测试，研究发现，即使是顶尖的 Agent 在复杂环境下的表现也远不及人类水平，最高得分仅为 **40 分（满分 100 分）**，揭示了当前 AI Agent 在智能决策、自主探索和复杂任务处理能力上的瓶颈与未来发展方向。



随着大型语言模型 (LLM) 技术的飞速发展，能够自主规划、执行复杂任务的 AI 智能体 (Agent) 正成为人工智能领域的新焦点。 它们被寄予厚望，有望在各个领域取代人类完成重复性、复杂性的工作。 然而，这些“最强大脑”的实际能力究竟如何？

[开源地址](https://github.com/lhydave/IDA-Bench)
![image.png](https://static.downly.cn/images/9d1d331239d89bb393d516833fe76ba3.png)



### IDA-Bench 一项全新的Agent评测基准

为了更准确地评估 AI Agent 的真实能力，研究团队设计了 IDA-Bench。 这一基准测试与以往的评测方法有显著不同

*   **复杂、开放式任务** IDA-Bench 不仅仅是评估模型生成文本的能力，而是聚焦于 Agent 在**多步骤、开放式**且需要**自主决策和探索**的复杂环境中的表现。 例如，Agent 可能需要在给定指令下，通过与环境交互来解决谜题、完成挑战。
*   **指令驱动决策** 评测的核心是 Agent 理解并遵循人类指令的能力，以及在执行指令过程中，面对未知和不确定性时，如何进行有效的决策和规划。
*   **多维度评估** 评估维度涵盖了 Agent 的任务完成度、探索效率、决策智能性等多个方面，力求全面反映 Agent 的实际操作能力。

通过引入这些挑战性的元素，IDA-Bench 旨在模拟真实世界中 Agent 可能面临的复杂场景，从而更客观地衡量它们的智能水平。

### 最强Agent也只有40分 远不及人类表现

测试结果令人深思。 在 IDA-Bench 的各项任务中，即使是基于目前最先进的大型语言模型构建的 Agent，其表现也显得力不从心

*   **最高得分仅40分** 在所有参评的 Agent 中，表现最好的也只获得了 40 分（满分 100 分），与人类轻松达成高分形成鲜明对比。 这意味着在许多复杂任务上，Agent 仍然难以胜任。
*   **智能决策与规划不足** Agent 在面对需要多步推理、长程规划和灵活应变的任务时，尤其显得力不从心。 它们往往难以理解指令的深层含义，或在执行过程中陷入局部最优，无法找到全局最佳解决方案。
*   **自主探索能力欠缺** 在开放式环境中，Agent 缺乏高效的自主探索策略，容易遗漏关键信息或重复无效操作，导致任务失败。

![image.png](https://static.downly.cn/images/50512910d466306b2c94947f73a1c3ff.png)

这些结果表明，尽管大模型在语言理解和生成方面取得了巨大进步，但将其应用于复杂的具身或模拟环境中，使其真正具备“智能”行为，仍面临巨大挑战。

### 当前Agent的瓶颈与未来发展方向

这项研究不仅揭示了当前 AI Agent 的能力短板，也为未来的研究指明了关键方向

#### 1. 强化长程规划与推理能力

目前的 Agent 往往只能进行短期的、局部性的规划。 未来需要研究更强大的规划算法，使 Agent 能够理解任务的全局目标，并制定多步骤、长期的执行策略。

#### 2. 提升自主探索与环境感知能力

Agent 需要更智能的探索机制，能够高效地收集环境信息，并利用这些信息进行决策。 结合视觉、听觉等多模态感知能力，将有助于 Agent 更好地理解复杂环境。

#### 3. 增强容错与适应性

真实世界充满不确定性。 Agent 需要具备更强的容错能力，能够在遇到意外情况或错误时，进行自我纠正和适应性调整，而不是直接失败。

#### 4. 融合世界模型与具身智能

将类似于 Meta AI V-JEPA 2 这样的“世界模型”融入 Agent，使其能够对环境的动力学进行预测，从而更好地规划和执行任务，是未来研究的重要方向。 让 Agent 不仅仅是“回答问题”，而是真正能够“行动”起来。



### 展望 更智能的AI Agent未来可期

北大与伯克利分校的这项研究，如同一面镜子，清晰地反映了当前 AI Agent 发展所处的阶段。 它提醒我们，尽管取得了巨大进步，但要实现真正通用、自主的 AI Agent，仍有漫长的道路要走。 这项工作为研究人员提供了宝贵的基准和研究方向，有望加速下一代更强大、更智能的 AI Agent 的诞生，使其未来能真正成为人类的得力助手。




北大伯克利联手“拷问”大模型：最强Agent也才40分


> 随着人工智能技术的飞速发展，大型语言模型（LLMs）和多模态模型层出不穷。如何准确、全面地评估这些模型的性能成为了一个日益重要的问题。为了解决这一挑战，谷歌近日推出了一个全新的统一评估工具——LMEval，旨在为大语言模型和多模态模型的评估提供一个标准化、高效的平台。

## AI评估的挑战与现有工具的局限性

过去，评估AI模型的性能通常依赖于针对特定任务或数据集的独立基准测试。这种方法存在诸多局限性

*   **碎片化** 不同模型可能在不同的基准上进行评估，导致结果难以进行直接比较。
*   **覆盖范围有限** 现有的基准往往只关注模型在特定任务上的表现，难以全面反映模型的整体能力。
*   **多模态评估困难** 随着多模态模型的发展，评估其理解和处理不同模态信息（如文本、图像、音频）的能力变得更加复杂。
*   **效率低下** 开发者和研究人员需要花费大量时间和精力来适配不同的评估框架和工具。



LMEval的出现，正是为了克服这些挑战，提供一个更加统一、灵活和高效的评估解决方案。

## LMEval 统一评估的新范式

LMEval的设计核心在于其统一性和模块化。它旨在提供一个通用的框架，能够支持对不同类型的大语言模型和多模态模型进行评估，涵盖各种任务和能力。

*   **统一接口** LMEval提供了一个统一的接口，使得开发者可以轻松地将其模型与评估框架集成，无需进行大量的代码修改。
*   **广泛的任务支持** LMEval支持评估模型在各种任务上的表现，包括文本生成、问答、摘要、翻译、图像理解、跨模态推理等。
*   **多维度评估** 除了传统的性能指标，LMEval还支持对模型的鲁棒性、公平性、可解释性等方面进行评估。
*   **模块化设计** LMEval采用模块化设计，允许用户根据自己的需求选择和组合不同的评估任务和数据集，构建定制化的评估流程。

![image.png](https://static.downly.cn/images/20250527025007.130666018.png)

这种统一和灵活的设计，使得LMEval能够成为一个强大的工具，帮助研究人员和开发者更全面、更准确地了解他们模型的优势和不足。

## 如何使用LMEval

LMEval的设计理念是简化评估流程，提高效率。开发者和研究人员可以通过简单的配置和调用，即可启动评估过程。

*   **模型集成** 将待评估的大语言模型或多模态模型与LMEval框架进行集成。
*   **选择评估任务和数据集** 根据需要选择LMEval提供的各种评估任务和对应的数据集。
*   **运行评估** 通过命令行或代码调用LMEval，启动自动化评估流程。
*   **分析结果** LMEval会生成详细的评估报告，展示模型在不同任务上的表现，并提供各种指标和可视化结果。



LMEval的出现，有望极大地降低AI模型评估的技术门槛，使得更多人能够参与到模型评估和改进的工作中。

## LMEval的意义与影响

谷歌推出LMEval具有重要的意义和深远的影响。

*   **推动AI模型发展** LMEval提供了一个标准化的评估平台，有助于研究人员更清晰地了解不同模型的性能差异，从而更有针对性地进行模型改进和创新。
*   **促进行业合作与透明度** 统一的评估工具可以促进不同机构和研究团队之间的合作，使得模型性能的比较更加公平和透明。
*   **加速多模态AI发展** LMEval对多模态模型评估的支持，将有力推动多模态AI技术的进步和应用。
*   **提升AI应用的可靠性** 通过更全面的评估，可以确保部署的AI模型更可靠、更安全，为实际应用提供保障。



LMEval的发布，是AI评估领域的一个重要里程碑，有望重塑AI模型评估的标准和流程。

## 未来展望

LMEval的推出只是AI评估工具发展的一个开端。未来，我们可以期待LMEval在以下方面进一步发展

*   **更广泛的任务和模态支持** 支持评估更多类型的AI模型和更广泛的任务，包括更复杂的跨模态交互和推理。
*   **更精细的评估指标** 开发更细致、更能够反映模型深层能力的评估指标。
*   **社区驱动的贡献** 鼓励全球研究社区贡献新的评估任务、数据集和评估方法，不断完善LMEval。



谷歌推出的LMEval，作为统一评估大语言模型和多模态模型的新工具，有望为AI领域的评估工作带来一场深刻的变革，加速AI技术的进步和应用。



搜索结果: AI评测