别让 agent 模仿人类点鼠标：微软 HCU 给了三条通道

让 agent 操作电脑，最常见的做法是喂截图、点坐标，把人类用 GUI 的习惯原样教给模型。微软研究院联合复旦、清华的 HCU 论文（arXiv 2610.41432）对这套「人类交互先验」提出了异议：模型越来越强，强制它模仿人类反而成了枷锁。

HCU 的做法是给 agent 同时开放三条互补通道：程序化通道跑代码、命令行和文件工具；语义通道读辅助功能树，按控件引用精准操作；视觉通道才是熟悉的截图加鼠标键盘。关键设计在于通道选择交由模型自行决定，不设规划器、不用子 agent，AX 和 GUI 工具统一经 MCP 暴露。

跨通道共用一个桌面，最大的坑是「证据失效」：刚用 AX 点出一个对话框，旧截图上的坐标就全错了。HCU 的动作守卫在每次输入前校验实时状态，AX 目标守卫加 GUI 布局守卫双保险。针对 AX 交互繁琐的老问题，它做了紧凑视图、单次批量最多 64 个有序动作（含等待步骤）、操作后默认返回 AX diff 反馈；投影压缩让视图 token 降 12% 到 44%，Obsidian 场景从 30,526 token 压到 1,237；技能文档则把参数错误导致的调用拒绝率从 17.37% 压到 1.36%。

成绩说话：OSWorld 2.0 上，GPT-6 Astra 骨干的 Partial 完成率 72.37%，超 CUA Driver 3.55 分；Claude Opus 5 骨干 Binary 35.19%，Partial 超官方榜单 3.75 分且成本低 20.26%。OSWorld 1.0 上四个骨干全部超越基线，得分提升 2.94 到 12.90 分，输入 token 少 18% 到 57%。跨平台同样成立：Windows Agent Arena 80.86 对 71.89，WeaveBench 53.25 对 46.37，成本降 46% 到 51%。

一个耐人寻味的行为观察：GPT、Grok、Gemini 大部分调用走 AX 通道（80%、68%、51%），Claude 却 94% 走 GUI 且更爱批量操作，近三成任务出现「截图观察加 AX 执行」的跨通道组合。论文的结论带着 bitter lesson 的味道：接口设计不该绑住模型的手脚。对做 agent 桌面产品的团队，这篇值得当作架构参考逐节读。