agent 操控电脑的两条路线，差距是 471 毫秒对 88.8 秒

11 月 1 日本站写过 agent-desktop 的机制篇（无障碍树、ref 快照、安全重试），本篇是深挖第二篇：补上它发布 v1.0.0 后的两份实战实测，顺便把 computer-use 的两条路线之争讲透。先说结论：471 毫秒对 88.8 秒，主要是路线的差距；但速度只是故事的一半，反例在文末。

一、项目现状：进了 Vercel Labs，发布 v1.0.0

仓库已从作者个人名下并入 vercel-labs 组织（原 mdlahfir/agent-desktop 地址已 404），10 月 27 日发布 v1.0.0。Apache-2.0 协议可商用，约 1.2 万星（11 月 3 日直读 11,978）。Rust 单二进制，npm install -g agent-desktop 即装。定位要再说一遍：它不是 agent、不内置模型，只是一个「电脑操控」工具，observe 到 act 到 verify 的循环留在调用它的 agent（Claude Code、Codex、Cursor）手里。

核心机制快速回顾：snapshot 返回带 ref 的 JSON 元素树，ref 绑定快照作用域，过期动作报 STALE_REF 且可重试；skeleton drilling 用来省 token，先取三层浅结构再钻取目标区域；默认 headless 运行不抢鼠标；动作前有 6 项预检；trace 可导出 run.html 报告。作者自报的 token 数据：Apple Maps 单次观察从 3811 降到 273 tokens，Slack 整屏从 30743 降到 383（注意这组是作者自报，无第三方验证）。

二、横评：5 工具 40 任务，同一桌面同一验收

X 用户 @athrix_codes 11 月 3 日发帖（原帖见文末），5 个工具跑 40 个真实桌面任务，全部在同一个 Ubuntu 桌面上，按屏幕实际变化验收。结果分层很明显：

agent-desktop 以 471 毫秒每动作全场最快，按屏幕实际变化验收下完成全部任务；Cua 以 1.1 秒每动作排第二，且零谎报；UI-TARS 在 CPU 上要 88.8 秒每动作，还把 7 乘 8 算成 2；Open Interpreter 最难看，42 个动作里 29 个什么都没干却报告 done。

两处表述必须收敛：榜单里列了 OmniParser，但没有给出成绩；原帖没有单独披露 agent-desktop 的谎报数字，能说的只有「验收方式下完成全部任务」和「最快」。另外要诚实：这是个人实测，脚本未开源，没有第三方复核，当成方向性参考而不是基准报告。

独立数据很快出现，而且带出了反例。X 用户 owaowo 的个人实测（35 个任务）里，agent-desktop 完成 26 个，Cua 完成 33 个，Codex Computer Use 完成 34 个。按完成数算，agent-desktop 反而垫底。这与 athrix 的「最快」并不构成直接矛盾：两份实测的任务集不同、口径不同（一个量速度、一个量完成数），但它至少说明「快」不等于「完成得多」，单份横评撑不起选型结论。已知问题清单也被列了出来：Windows 快捷键、最小化窗口、Word 正文编辑、部分 macOS 应用。

三、坐标系的参照：它在 agent 栈的哪一层

把 agent-desktop 放进更大的坐标系里看会更公平。Prasenjit Sarkar 的对照是：Anthropic Computer Use 在 OSWorld 上约 22%，OpenAI Operator 约 38%，而 agent-desktop 想做的不是再一个同类，而是各家 agent 底下的那一层，一个结构化的桌面操控工具层。作者 mdlahfir 也点出了这个赛道公认的最难问题：画布（canvas）类自绘界面，恰恰是无障碍树路线的盲区。

四、为什么快：问 OS 要答案

差距的结构性原因在信息获取方式。无障碍树路线是「问操作系统要答案」：一次本地 API 调用，拿到的是结构化的元素树和稳定的引用；截图路线每一步都要截图、丢给视觉模型、再猜坐标，时间烧在推理上，误差出在像素定位上。操作具名元素还有个附带好处：没有点偏问题，动作是否生效可以用树的状态直接验证。

五、冷水和边界

四条限制必须写进结论。天花板是无障碍支持的质量：自绘 UI 和相当一部分游戏够不着，树里没有的东西它就看不见，Bronze 列的已知问题（Windows 快捷键、最小化窗口、Word 正文、部分 macOS 应用）都能归到这里。工程环境有坑：Linux 下 Codex 沙箱连不上 D-Bus，需要破沙箱才能跑。权限是无障碍授权本身就是高危权限：能读屏幕结构就能读大部分内容，企业落地要先过安全评审。最后，第三方独立基准目前还不存在，athrix 和 owaowo 两份实测已经出现且结果不一致，恰好说明这个领域还在早期。

两条路线与其争谁取代谁，不如按应用质量分工：读得出结构的应用走无障碍树，读不出的退回视觉。agent-desktop 把结构化这条路的工程细节修到了协议层，速度数据亮眼、完成率数据存疑，两者都是真的；它更适合被当成 agent 栈里的一个工具层来评估，而不是一个「谁更强」的答案。

来源：X 用户 @athrix_codes 2026-11-03 横评原帖（x.com/athrix_codes/status/2117430371650506835）；owaowo 35 任务实测（x.com/sthnavy/status/2117047761900384532）；Bronze 已知问题清单与 Prasenjit Sarkar 的栈层分析（X 讨论）；项目官网 agent-browser.dev/desktop；vercel-labs/agent-desktop 仓库。