人类与计算机的交互天然跨应用、跨界面:浏览网页、剪视频、管文件、写代码,GUI 和 CLI 混用。作者指出,此前的基准在两个维度上都不够:
论文的对比表(Table 4)量化了差距:OSWorld 是唯一同时满足「可控执行环境 = 整台计算机、环境可扩展、多模态、跨应用、支持中间初始状态」的基准,且自带 134 个执行式评估函数——WebArena 只有 5 个,MiniWoB++ 125 个(但都是合成小网页),Mind2Web/GAIA 为 0。
每个任务被形式化为部分可观测马尔可夫决策过程(POMDP)(S, O, A, T, R):状态空间 S、观测空间 O(含自然语言指令)、动作空间 A、转移函数 T、奖励函数 R。agent 拿到当前观测(截图、可访问性树或二者组合),生成一条可执行动作(如 pyautogui.click(300, 540, button='right') 或 hotkey('ctrl','alt','t')),环境状态迁移并给出新观测,循环直到 agent 发出终止动作(DONE/FAIL)或达到最大步数(实验设 15 步)。奖励函数 R: S×A → [0,1] 是执行式的:任务目标达成(或部分达成)给 1 或小数,对不可行任务正确预测「做不到」也给 1,其余一律 0。
OSWorld 跑在宿主机上,用虚拟机(VMware/VirtualBox)承载真实的 Ubuntu / Windows / macOS。VM 提供安全隔离(agent 搞不坏宿主机),快照(snapshot)特性支持随时回滚重置,保证可复现。核心组件是一个 Coordinator:接受任务配置文件 → 自动拉起 VM 实例 → Task Manager 按配置初始化状态 → agent 交互(动作以代码字符串传入,由 Simulator 在 VM 内执行)→ 任务结束后做后处理(保存文件、激活窗口)、把取证材料(文件、cookie、配置)拉回宿主机 → 执行评分脚本。单台宿主机可并行跑多个 VM,支持 headless,训练评估都能并行化。
一个任务的 JSON 配置包含四段(论文 Figure 2):config(初始化:下载文件、打开软件、调窗口)、postconfig(评估前后处理,如 activate_window)、getter(取证:从 VM 或云端拿最终文件/状态)、evaluator(评分函数与参数)。例如「更新记账表」任务:config 下载 my_bookkeeping.xlsx 和收据图片并用 LibreOffice Calc 打开;评估时 getter 从 VM 取结果文件、从云端取金标文件,evaluator 用 compare_table 带 sheet_fuzzy 等规则比对指定区域。
作者强调,真实求助场景很少发生在开机第一秒,而是中间状态——软件已开着、活干到一半、甚至刚崩溃过。所以初始化刻意模拟这些中间态,这也给 agent 的建模和探索提出更高要求。实现上用混合方案而非每任务一个快照(那样每个任务要存 GB 级镜像):统一底座快照 + 三阶段脚本——①启动 VM;②准备文件(从云端下载或脚本生成);③重处理命令(打开文件/标签页、调整窗口大小等)。团队还基于软件和 OS 的 API 补写了 pyautogui 难以稳定完成的初始化原语,整套 API 标准化,方便社区扩任务。每个任务的 setup 约花 1 人时构建。
观测:①全桌面截图(默认 1920×1080,含鼠标位置形状、各窗口叠放层次——与人类视角一致);②XML 格式可访问性树(accessibility tree, a11y tree),Ubuntu 经 ATSPI、Windows 经 PyWinAuto 获取,提供结构化的控件信息;③可定制流如终端输出。原始观测很「野」:4K 级高分图和百万 token 级的 a11y 树都是长程决策的真实挑战。
动作:直接采用 pyautogui 库的鼠标键盘全集——moveTo/click/write/press/hotkey/scroll/dragTo/keyDown/keyUp 等,agent 必须生成语法正确的 Python 代码,还可以用 for 循环等程序结构组合动作、控制时序(interval)。另加三个特殊动作:WAIT(等待)、FAIL(判定任务不可行)、DONE(判定完成)。这是对 MiniWoB++/WebArena 式「点击+打字」精简动作集的关键超越:右键、Ctrl+点选、拖拽都能表达,不给 agent 能力封顶。
369 个 Ubuntu 任务(另配 43 个 Windows 任务用于迁移分析,因版权需用户自行激活)。来源刻意贴近真实:官方教程、YouTube/TikTok 技巧视频、WikiHow、Reddit/Quora/Superuser/StackOverflow 问答、Coursera/Udemy 课程、个人博客,按热度和多样性筛选;多应用协作任务网上难找,由作者头脑风暴补齐。每个任务由 9 名计算机专业学生(全为学生作者)标注:自然语言指令 + 初始状态 setup 配置 + 手写评分脚本,再经另外两名作者交叉核查可行性与歧义。总投入约 1800 人时(单应用任务 650、工作流任务 750、复查 400),实验期间又追加 400+ 人时做了四轮修订。
覆盖 8 个代表性应用 + 系统自带工具:Chrome(网页)、VLC(媒体)、Thunderbird(邮件)、VS Code(IDE)、LibreOffice Calc/Writer/Impress(办公三件套)、GIMP(修图),外加终端、文件管理器、图片查看器、PDF 查看器。任务分五类:Office 31.7%、Workflow(跨应用)27.4%、Daily 21.1%、Professional 13.3%、OS 6.5%。关键统计:单应用任务 268 个(72.6%)、多应用工作流 101 个(27.4%)、从 NL2Bash/Mind2Web/SheetCopilot/PPTC/GAIA 整合改造 84 个(22.8%)、不可行任务(infeasible)30 个(8.1%);共 302 种初始状态、134 个独立评估函数。不可行任务收录的是「已废弃的功能」「用户幻觉出来的功能」这类本质做不到的请求,专门考察 agent 敢不敢说「做不到」。
这是全文最值得开发者精读的部分。开放任务没法用单一 metric 统一衡量,OSWorld 的做法是每任务定制评分脚本 = getter(取证)+ evaluator(判定),从最终机器状态取证,而不是比对动作轨迹或文本。论文 Table 1 的三个例子:
get_cookie_data(env) 从 VM 取出 Chrome cookie 数据库,is_cookie_deleted 按 domains: [".amazon.com"] 规则判定;compare_table 按 sheet 名/数据规则比对;get_a11y_tree(env) 抓 Thunderbird 当前界面的可访问性树,用选择器规则检查收件人字段里有没有目标邮箱。为此团队建了一个庞大的函数库:解析各软件的内部文件格式、预埋「脚手架」(给 Chrome/VLC 开远程调试端口、给 VS Code 装扩展),甚至逆向工程(解密 Thunderbird 的账号信息)。对有实时性的任务(如「查某人论文引用数」),getter 里内嵌爬虫,评估时刻现抓真值再与 agent 结果比对。每个任务的评分函数平均花约 2 人时开发+检验,并经三轮不同人从「与指令对齐、多解法均判对」角度审查。
人类被试为「有基本软件使用能力、但没见过这批任务和软件」的计算机专业大学生。结果:准确率约 72.36%,中位完成时间 111.94 秒;对照同一流程测的 WebArena 抽样(人类 88%、中位 35.38 秒),OSWorld 任务明显更耗时、更难,不少任务要 900 秒以上。
评测覆盖开源(Mixtral-8x7B、Llama-3-70B、CogAgent)与闭源(GPT-3.5/4/4V/4o、Gemini-Pro/ProV/1.5、Claude-3 Opus、Qwen-Max)。早期尝试的 few-shot 提示(照 VisualWebArena 用观测-动作对当示例)效果很差(纯截图下 2.79%),最终方案改为:上下文里放最近 3 轮观测+动作的多轮对话,temperature 1.0、top-p 0.9、超长从头截断,最多 15 步。四种输入表示:
| 输入 | 代表模型 | 总成功率 |
|---|---|---|
| a11y 树 | GPT-4:12.24%(全场最佳);GPT-4o 11.36%;Qwen-Max 6.87%;Gemini-Pro 2.37%;Llama-3-70B 1.61% | 2.37%~12.24% |
| 纯截图 | Gemini-ProV 5.80%;GPT-4V 5.26%;Claude-3 Opus 2.42%;CogAgent 1.11% | 1.11%~5.80% |
| 截图+a11y 树 | GPT-4V 12.17%;GPT-4o 11.21%;Claude-3 Opus 4.41% | 1.32%~12.17% |
| SoM | GPT-4V 11.77%;Gemini-Pro-1.5 7.79%;Claude-3 Opus 6.72%;CogAgent 0.99% | 0.99%~11.77% |
| 人类(各类别稳定在 70~75%) | 72.36% | |
几条关键观察:①全线远低于人类,整体区间 0.99%~12.24%;②agent 在不同任务类别间方差极大(CLI 型 OS 任务较好,GUI 密集的 Office 任务很差,LibreOffice Calc 子集常年 0 分),而人类在各类别波动不超过 5%;③跨应用工作流是重灾区:GPT-4V(SoM)单应用 13.74% vs 多应用 6.57%,多数模型工作流不到 5%;④a11y 树和 SoM 的增益因模型而异——GPT-4V 加 a11y 树从 5.26% 涨到 12.17%,Gemini-ProV 反而降;SoM 对 GPT-4V 不如「截图+树」,作者推测桌面元素太密(表格单元格)、编号框成了噪声,且有些操作要求坐标级精度,框表达不了;⑤Claude-3 Opus 在常规基准上与 GPT-4V 掰手腕,在 OSWorld 全面落后 2.84%~7.76%——定性分析发现它高层规划不错,但 grounding 幻觉严重(把双击当选中、把 LibreOffice 的 B 列认成 C 列、在 VS Code 替换框输完文字不点全局替换);⑥纯截图设定虽最弱(5.26%),但作者认为它才是长期正确的终局形态:不依赖 a11y 树(很多软件树质量差,离屏场景更拿不到),纯视觉与人类感知对齐、泛化上限最高。
把子集任务迁到 Windows(观测经 PyWinAuto):GPT-4V 纯截图在 Ubuntu 4.88% vs Windows 2.55%,相关系数 0.7——尽管观测空间不同,在 OSWorld(Ubuntu)上得出的方法结论可较可靠地迁移到 Windows。
抽样 550 个失败案例:超过 75% 存在鼠标点击坐标不准(mouse click inaccuracies),是头号错误——agent 在代码注释里把步骤规划得头头是道,落点就是不对,「规划强、执行弱」。由此衍生两类高频错误:重复点击(误点→调整→再误点,步数耗尽)和环境噪声困境(误点弹出无关窗口/软件后,由于缺乏专业软件的先验知识,陷入「动作与状态错配」回不到正轨,也不会像人一样随手关掉真实网页的弹窗、还会被广告带偏)。其余错误来自指令误读与视觉疏漏。另一个有趣发现是人机难度倒挂:人类觉得简单的设计/文本类 GUI 操作(加粗、清除高亮)agent 很差(网上缺这类细粒度操作数据);人类嫌麻烦的「代码可解任务」(监控 CPU 30 秒、强杀进程)agent 反而轻松——但也会投机,比如指令要求「用 GIMP 剪视频 2~4 秒」它直接上 ffmpeg。批量机械操作(Excel 批量编辑)人机都容易出错或超时。
结论:OSWorld 首次提供了跨 OS、跨应用、支持任务初始化与执行式评分的真实计算机环境;当前 LLM/VLM 距离「能用的计算机助手」差距巨大,瓶颈在 GUI grounding 与操作性知识。作者给出的方向:①提升 VLM 的 GUI 定位鲁棒性、高分辨率支持、坐标精度,以及图像形式的历史编码能力(这是做记忆与反思的前提);②更好的 agent 架构——探索、记忆、反思、个性化;③安全:通用 agent 可能被用于绕过 CAPTCHA、滥用账号,当前靠 VM 隔离兜底,但评分函数只看任务完成度、不检测「顺手造成的破坏」,如何度量副作用仍是开放问题;④扩展数据与环境到医疗、教育等垂直领域,并指出 a11y 树质量参差是隐患(没人保证开发者守规范)。
OSWorld 已成为 CUA 事实标准评测。项目主页(os-world.github.io)显示:2025-07-28 升级为 OSWorld-Verified——修复社区报告的问题样例、接入 AWS 使整轮评估缩到 1 小时内、全部轨迹开放在 Hugging Face;2026-06-26 发布 OSWorld 2.0(独立站点)。榜单收录了 Operator、Claude、Gemini、UI-TARS、Agent-S 等,并把方法分成三类范式:通用模型、专用计算机使用模型、多模型组合的 agentic framework(常见「通用模型做规划 + 专用模型做 grounding」)——正对应论文当年诊断出的「规划强、grounding 弱」。运行口径上,369 题中 8 个 Google Drive 任务可能因网络/限流初始化失败,官方允许「配好跑 369」或「排除跑 361」两种提交,需注明。