【中文精读】LLM Agent 评测综述:Survey on Evaluation of LLM-based Agents

一、总体框架:五个视角切开 agent 评测

综述把「LLM agent 与普通 LLM 的本质差异」概括为:agent 能规划多步、调用工具改变外部世界、从反馈中反思、跨交互维持记忆——因此评测也必须超越单轮文本问答。全文按五个视角组织:

• §2 核心能力评测(Agent Capabilities):规划与多步推理、函数调用与工具使用、自我反思、记忆——不问应用场景,单测「零件」;
• §3 应用专用评测(Application-Specific):Web agent、软件工程 agent、科学 agent、对话 agent 四大落地领域;
• §4 通用 agent 评测(Generalist):GAIA、OSWorld、AgentBench 等要求「什么都会一点」的综合基准;
• §5 基准设计维度(Benchmark Dimensions):横切分析所有基准的五个正交维度;
• §6 评测框架(Frameworks):LangSmith、Langfuse 等嵌入开发流程的持续评测工具,与 Gym 类环境;
• §7 讨论:当前趋势与五个未来方向。

二、核心能力评测(§2):四个零件各自怎么测

1. 规划与多步推理(Planning & Multi-Step Reasoning)

谱系从通用推理基准(HotpotQA 多跳问答、GSM8K 数学、BIG-Bench Hard)到专门的规划基准(PlanBench、AutoPlanBench,用经典规划问题如积木世界测形式化规划),再到 agent 导向的规划(FlowBench 测工作流规划、Natural Plan 测自然语言规划任务如行程安排、DeepPlanning 测带可验证约束的长程规划)。综述的判断:即使 SOTA 模型,长程规划(long-horizon planning)仍然是普遍短板。

2. 函数调用与工具使用(Function Calling & Tool Use)

演进脉络清晰的三代:早期单步、参数预定义(ToolAlpaca、ToolBench、BFCL v1 伯克利函数调用排行榜)→ 多轮多步与复杂结构(BFCL v2/v3 引入用户交互与状态、NESTFUL 测嵌套 API 调用的输出→输入依赖、ComplexFuncBench 测隐式参数推断与长上下文)→ 基于真实 MCP(Model Context Protocol)服务器的前沿基准(MCP-Atlas、Tool-Decathlon)。工具生态标准化(MCP)正在直接重塑该类评测的形态。

3. 自我反思(Self-Reflection)

多数工作是把既有基准改造成多轮反馈循环(Reflexion 一系),也有否定性结果(Huang et al.:LLM 难以自我纠正推理错误)。agent 场景下有 LLM-Evolve(把历史反馈变成 in-context 示例)、LLF-Bench(基于语言反馈的决策)。综述明确指出:该方向缺乏标准化基准,是当前的关键空白。

4. 记忆(Memory)

按认知科学分类为情景记忆(episodic)、语义记忆(semantic)、程序性记忆(procedural)。早期用长上下文基准(Lost in the Middle、QuALITY)间接评测 MemGPT、A-Mem 等记忆系统;专用基准正在出现:StreamBench、MemoryArena(多会话相互依赖的任务)测情景记忆,MemBench、LongMemEval(长期交互记忆)测语义记忆。要点:长上下文 ≠ 记忆,跨会话的存取、更新、遗忘才是 agent 记忆的真问题。

三、应用专用评测(§3):四大领域的基准演进

3.1 Web Agents

三条演进线:① 从模拟到真实:早期简化仿真 → WebShop(模拟购物全流程)→ Mind2Web(离线、多领域真实网站、与金标动作比对)→ WebArena(动态沙盒、全功能网站、长程任务 + 功能正确性测试),后两者是当前最常用的离线/在线代表;② 从文本到多模态:VisualWebArena、MMInA、WebVoyager(逼真的多模态在线评测,受商业界青睐——但近期研究指出其分数「系统性偏乐观」,并提出更严格的 Online-Mind2Web 替代);③ 从能力到安全与场景化:ST-WebAgentBench(策略合规与风险缓解)、WorkArena/WorkArena++(企业办公流程)、AssistantBench(多站点耗时任务)、WebCanvas(细粒度过程分析)。

3.2 软件工程 Agents

从 HumanEval/MBPP 式自包含小题,跃迁到 SWE-bench(真实 GitHub issue + 完整仓库 + Docker 可执行环境 + 测试验证)。因原版存在单测过于特定、issue 描述不清、环境配置等问题,衍生出一个家族:SWE-bench Verified(OpenAI 2024,人工筛验出 500 个高质量样本 + 难度标注,已成事实标准)、Lite、Multimodal、多语言版(SWE-bench-Java、SWE-smith);外延扩展到 SWT-bench / TDD-Bench Verified(测「能否为 bug 写出测试」)、ITBench(IT 运维自动化)、Terminal-Bench(交互式终端能力)。更难更真实的新一代:SWE-Lancer(从 Upwork 收集 1,400 个自由职业任务、总酬金超 100 万美元,含技术与管理决策)、SWE-bench Pro(1,865 个人工验证任务、跨 41 个仓库、常需多文件编辑,前沿模型 Pass@1 仍低于 25%)——印证「基准饱和 → 加难」的循环。

3.3 科学 Agents

从知识回忆(ARC、ScienceQA、ScienceWorld)与文献理解(QASPER、QASA),走向覆盖完整科研流水线的四段:科研构想(Si et al. 的百人 NLP 研究者对照实验)、实验设计(AAAR-1.0)、科学代码生成与复现(SciCode、ScienceAgentBench、CORE-Bench(计算可复现性)、PaperBench(复现 AI 论文)、MLE-bench)、同行评审生成。

3.4 对话 Agents

从传统任务型对话(MultiWOZ、SMCalFlow、ABCD)进化到 τ-bench(模拟用户 + API 工具 + 领域策略,零售/航空客服;综述同时点出其局限:规模有限、用户模拟简单、指标粗粒度、忽略过程性策略违规)→ τ²-bench(新增电信域、用户也持工具、组合式任务生成器)→ IntellAgent(从 schema 和策略文档自动合成场景)、ALMITA(LLM 生成中间图 + 人工过滤的混合构造)。

四、通用 Agent 评测(§4):两条互补路径

路径一:天然需要广泛能力的原生基准。GAIA 是代表——纯人工编写并验证的真实世界问题,需要推理、多模态、网页浏览、工具使用;「对人类概念上简单,对 agent 却需要复杂工具链」。随模型进步其较易部分已饱和,催生 GAIA2/ARE(移动环境:邮件、消息、日历;加入歧义、噪声、时间约束、多 agent 协作)。完整计算机环境类:OSWorld(GUI 操作真实操作系统)、AppWorld(代码与 API 调用,100 个虚构用户的合成世界 + 程序化校验)、OmniACT、Windows Agent Arena。

路径二:把多个专项基准统一起来。AgentBench(OS、数据库、游戏、家务等多环境合集)、HAL(Holistic Agent Leaderboard,跨域统一平台)、Harbor 与 Exgentic(统一协议,支持同一 harness 跨任意环境评测)、CUBE(统一基准标准)。这条路径的深层动机在 §7 揭晓:只有统一协议才能把成绩归因到「模型」还是「脚手架」。

五、基准设计五维度(§5):自建评测的决策清单

这是全文对实践者最有用的一章,五个正交维度(原文 Table 1 对代表性基准逐一打分,此处转述其结论):

六、评测框架与 Gym 环境(§6):从「考试」到「体检」

与固定题库的基准不同,这类框架嵌入开发流程,支持持续监控、错误分析与自定义场景。主要玩家:LangSmith(逐步/轨迹/人工介入/A-B 全能)、Langfuse(OpenTelemetry 基座的观测平台)、Google Vertex AI evaluation、Arize Phoenix(agent 分阶段模板:routing/planning/reflection)、Galileo(特色「action advancement」指标:每一步是否推进了用户目标)、Patronus、AgentEvals(轨迹图式评估:检查是否访问了预期节点与转移)、Databricks Mosaic AI 等。

综述提炼的评估粒度三层次值得背下来:① 最终响应评估——便宜、可自动化,但看不到失败原因;② 逐步评估(stepwise)——对每次工具调用/路由决策单独判,可定位错误,但假设步骤可孤立评估;③ 轨迹评估(trajectory-based)——又分参考轨迹比对(exact/partial/unordered 对齐;局限:合法路径往往不止一条)与无参考 LLM 判卷(灵活但可靠性低)。开放挑战:大规模运行的根因分析、结果差异的因果归因、评测自身的成本(海量 trace × 昂贵 judge)、安全合规评估的缺失。

另一条线是 Gym 类环境(源自 RL 的可控交互模拟):BrowserGym(web)、MLGym(AI 研究)、SWE-Gym(软件工程)——同时服务于评测与训练(生成 rollout 做 RL/SFT),是「评测环境即训练环境」趋势的载体。

七、趋势与未来方向(§7)

两大当前趋势:① 更真实更难——从简化静态环境到 WebArena/SWE-bench 式真实动态环境,任务向「高水平人类专家的长程工作流」看齐;② Live Benchmark(活基准)——静态基准会快速饱和、过时,BFCL 多版本迭代、SWE-bench 家族(Verified→Pro)持续更新成为常态,更新动机包括匹配能力提升、修复判分缺陷、跟进 MCP 等生态演化。

五个未来方向(原文 §7.2 完整列表):

• 细粒度评测:端到端成功率遮蔽了中间决策(选错工具?推理错?),需要标准化的轨迹级、逐步指标;
• 成本与效率指标:只卷性能会催生「高分但贵到没法部署」的 agent(引 Kapoor et al. "AI Agents That Matter" 的批评),应把 token 用量、API 开销、推理时延纳入排行榜标配;
• 规模化与自动化:人工标注贵且快速过时,出路是合成任务生成 + Agent-as-a-Judge(用 agent 评 agent);
• 安全与合规:对抗鲁棒性、偏见、组织政策合规的系统测试普遍缺失,尤其是可能出现涌现风险的多 agent 场景;
• 解耦 LLM 与脚手架(harness):当前分数混淆了「模型多强」和「脚手架多好」两个变量,Harbor/Exgentic 的跨模型×跨脚手架标准化评测是开端,终局是能把性能贡献归因到模型能力、harness 设计或记忆/规划模块的受控协议。