【中文精读】Measuring AI Ability to Complete Long Tasks(测量 AI 完成长任务的能力)

一、动机:现有基准为什么不够用

论文开篇指出现有 AI 基准的三大缺陷:

• 任务是人造的,不是有经济价值的工作。选择题、竞赛题与真实职场任务相去甚远;
• 基准常被「对抗性筛选」。HellaSwag、Humanity's Last Exam 等在构建时刻意过滤掉当时最强模型能做对的题——这让「AI 在基准上不如人」的比较系统性带偏;
• 基准饱和越来越快,且互相之间不可比。没有统一量纲能把 GPT-2(2019)和 Claude 3.7(2025)放在同一条尺子上量化比较。

METR 的解法:用「人类完成该任务需要多长时间」作为任务难度的统一量纲——它天然连续、天然跨基准、天然对应经济价值(工时)。由此定义核心指标:

50% 任务完成时间视野(50%-task-completion time horizon):一个 AI 模型能以 50% 成功率完成的任务,对应人类专业人员通常需要多长时间完成。例如「o3 的 50% 时间视野约 110 分钟」意味着:人类需要约 110 分钟的任务,o3 大约有一半概率能自主完成。

二、任务套件:170 个任务,横跨 3 秒到 30 小时

整个测量建立在三个任务来源之上(合计约 170 个任务):

任务跨度示例(体会一下量纲):3 秒(多选题识别 shell 脚本)、1 分钟(Wikipedia 事实检索)、9 分钟(修复 oxDNA 分子动力学模拟输入文件的 bug)、56 分钟(编写 JSON 格式转换脚本)、8 小时(用自定义 CUDA kernel 把一个回测工具加速 30 倍)。所有任务自动评分(连续分数或二值阈值),不依赖人工判卷。

三、人类基线(human baseline):难度尺子怎么标定

• 共进行 800+ 次人类基线尝试,累计 2,529 小时。其中 HCAST 与 RE-Bench 558 次(286 次成功),SWAA 249 次(236 次成功);
• 169 个任务中 148 个有真实人类基线,其余 21 个 HCAST 任务用研究者估计;
• 基线人员是软件工程、机器学习、网络安全领域的熟练专业人士(多数就读过世界前 100 大学,平均约 5 年相关经验);
• 每个任务的「人类时长」t_task 取成功的人类基线用时的几何平均(几何平均对时长这种对数正态分布的量更稳健)。

四、核心方法:两步拟合

方法链条可以复述为「一次 logistic 回归 + 一次对时间的线性回归」:

第一步:对每个模型拟合「时长-成功率曲线」,得出该模型的时间视野

• 让 AI agent(模型 + 脚手架/挽具)尝试每个任务,每个 agent/任务对约跑 8 次;
• 把表现二值化:SWAA 天然二值;HCAST 用人类基线的目标分数作阈值;RE-Bench 用 7–9 小时人类运行的平均得分作阈值;
• 做 logistic 回归,以任务的人类时长(取对数)为自变量:
  p_success = σ( (log h_agent − log t_task) · β_agent )
  其中 σ 是 sigmoid;h_agent 就是该模型的 50% 时间视野(成功率恰为 50% 时对应的人类时长);β_agent 是斜率,刻画成功率随任务变长而衰减的陡峭程度。方法思想类似心理测量学的 IRT(项目反应理论),区别在于任务难度不是从模型表现里学出来的,而是直接来自人类基线时间;
• 拟合质量:模型成功率与人类完成时长负相关且指数模型拟合良好——对 log 人类时长回归 R² ≈ 0.80(散点拟合 y = −0.07x + 0.66,R² = 0.83)。各模型间任务成功高度相关(平均相关约 0.73),说明「什么任务难」在模型间是一致的。

第二步:把各模型的时间视野对「发布日期」回归,得出增长趋势

• 把每个模型的 log(时间视野)对其发布日期做 OLS 线性回归——log 空间的直线即指数增长;
• 不确定度用三层分层 bootstrap(任务族 → 任务 → 运行,10,000 次重采样)估计;任务按其任务族大小的平方根倒数加权,避免大任务族主导拟合。

五、主要结果:约 7 个月翻一倍

评测覆盖 2019–2025 年间 12 个前沿模型(外加 4 个近前沿模型),核心数字:

• GPT-2(2019)的 50% 时间视野约 2 秒;o3(2025)约 110 分钟,且 o3 能完成若干人类需 4 小时以上的任务。六年跨了约三个数量级;
• 翻倍时间:每 207 天(约 7 个月),95% bootstrap 置信区间 166–240 天(约 ±19%);
• 趋势可能在加速:o3 显著高于长期趋势线(p = 0.006);2023–2025 年的增长率比 2019–2025 整体快约 20%,提示 2024 年起进入更陡的斜率;
• 80% 时间视野:要求 80% 成功率时,翻倍时间为 204 天,与 50% 视野的 207 天在误差内一致——即增长速度不变,但绝对值短 4–6 倍(摘要另一处表述为约 5 倍)。这说明模型即使偶尔能啃下难任务,也无法可靠地完成中等长度任务;数据量不足以测 95% 等极高可靠性的视野;
• 单个模型的视野估计误差棒较宽,但误差在模型间高度相关,因此趋势斜率比任何单个模型的点估计更可信——这是引用本文数字时最该记住的方法论提醒。

论文最著名的那张图(时间视野 vs 发布日期的散点 + 指数拟合线)无法搬运,一句话转述其结论:从 GPT-2 到 o3,各模型的 50% 时间视野在对数坐标上几乎排成一条直线,斜率对应约 7 个月翻倍;o3 落在直线上方。

六、定性分析:模型到底在哪失败、为何进步

研究者人工分析了 31 个 GPT-4 1106 失败运行与 32 个 o1 失败运行,失败归因分布:

可见新模型基本治好了「原地打转」(重复失败动作 12→2),但「过早放弃」反而更突出(8→16)——这与 Anthropic/Osmani 两篇讲的「过早宣布完成/过早收工」失败模式互为印证,也正是 Ralph 循环这类挽具机制存在的理由。新模型进步的驱动因素:更强的工具使用、更能从错误中调整、更好的逻辑推理与代码生成、更高的可靠性与自我认知。仍存在的弱点:在缺乏清晰反馈回路、需要主动搜寻信息的「更混乱(messier)」环境中表现差。

七、外部效度与稳健性检查

论文做了一组扎实的敏感性分析,这部分决定了你该多信这个「7 个月」:

• 回溯检验(backtesting):只用 2023–2025 年数据(不含 SWAA)拟合的趋势,能回溯预测 2019 年以来的整体趋势,两者一致;
• SWE-bench Verified 复现:在外部基准上指数趋势同样成立,但翻倍时间更短。可能的解释:SWE-bench 的难度标注代表「高上下文的仓库维护者」用时,系统性低估了外包人员做简单任务的耗时;
• 混乱度(messiness)分析:给 HCAST/RE-Bench 任务按 16 项「混乱度」因素打分(资源受限、新颖性、动态环境等)。控制任务长度后,模型在高混乱度任务上确实更差;但高、低混乱度两个子集的时间趋势相似,没有发现高混乱度任务出现平台期——即「真实世界的乱」目前只是压低截距,没有压平斜率;
• 内部 PR 任务:在未受数据污染的内部 pull request 任务上测试,发现参照人群影响巨大——外包人员比仓库维护者慢 5–18 倍;AI 的表现低于「以维护者用时预测」的水平,但与「以外包人员用时预测」一致。教训:时间视野的绝对值强烈依赖「以谁的用时为尺」;
• 拟合对正则化、任务加权、WLS vs OLS 等超参数不敏感;「o3 高于趋势线」的结论对连续评分等方法消融也稳健。

八、外推与预测

朴素外推(直线延长)预测:AI 将在 2028 年中至 2031 年中之间达到「>1 个月」(按 167 个工作小时计)的时间视野。论文强调:即使绝对测量存在 10 倍的偏差,趋势本身也预示十年内 AI agent 将能独立完成大量目前需要人类数天到数周的软件任务。当然,外推同时受外部效度和未来趋势变化的双重不确定性影响;可能改变斜率的因素包括:针对 agency(自主行动能力)的训练、算力扩展、AI 研发自身的自动化(可能形成正反馈)。

九、局限性(作者自述)

• 任务分布不能完美代表研究员/软件工程师的平均智力劳动,外部效度存疑;补充实验没有发现「更真实的任务上趋势更慢」的证据,但不能排除在真正自动化软件工程岗位所需的任务分布上,趋势明显更慢;
• 时间视野的绝对值随任务领域和参照人群可差一个很大的倍数(参见外包 vs 维护者的 5–18 倍差距)——引用「110 分钟」时必须带上这个限定;
• 未来工作:更多模型与更好的能力激发(elicitation,即给模型配更好的挽具和提示,榨出真实能力上限)、更严格的人类基线、更自然多样的任务、更多推理算力、更完善的数据分析;
• 论文还讨论了自主能力增长对危险能力评估(CBRN、自我复制)与 AI 治理的意义:时间视野是把「AI 自主性」变成可测公共指标的一次尝试。