ByteNoteByteNote
harness 也能递归改进自己:Harness 平方一步最多涨 11.5 分
字

字节笔记本

2026年10月14日 · 约 3 分钟读完

harness 也能递归改进自己:Harness 平方一步最多涨 11.5 分

API中转
¥120

harness 决定了 agent 的上限,这话近半年被反复验证:同一个模型换个好 harness 就能多出十几分,harness 的质量差距甚至大于模型代差,这是很多团队没意识到的。但 harness 自己谁来改?Google Cloud AI Research 的 Harness^2(arXiv 2610.14224,作者 Ruiyao Xu、Tomas Pfister 等,10 月 9 日放榜)给了一个系统答案:让 harness 通过递归自改进来优化自身,而且是即插即用的。这个方向的意义在于把 harness 从手工调优的工件变成可自进化的系统组件。

Harness^2 封面图解

双层递归

框架解决两个拦路虎。第一,开放世界的新任务没有真值验证器,RSI 缺少引导编辑的信号,不知道改动是变好还是变坏;第二,现有 RSI 方法多是任务定制的,改进换个场景就失效,等于每个任务从零再来。框架名为即插即用,接法不侵入既有 harness,原架构照常运行。任务级递归用提出-探测-组合三步对比来导航 harness 编辑:先提出候选修改,探测修改后行为差异,再组合出最优方向,不需要验证器也能判断改动好坏,支持并行或串行扩展,多任务的改进信号可以同时积累。harness 级递归从这些编辑经验中提炼通用规律,更新一个持续改进的上层 harness,使其更会适配未来的新任务。用个类比:不只修好一道题,还修好会修题的那只手,下次换题也能直接上手。

实测数字

在三个专业基准和四个模型组合上交叉验证,单步改进就能让 GLM-5 与 Gemini 3.5 Flash 超过各自的基线 harness:WorkBuddy-Bench 最高提升 11.5 分,LAB 提升 11.8 个百分点,JobBench 提升 4.5 分,加大递归预算还有额外增益,收益随递归深度未封顶。这个提升幅度意味着,在不换模型、不改底层能力的前提下,纯 harness 层的自动优化就有两位数的提升空间,对预算有限的团队这是最便宜的涨分路径。

实测增量图解

放进 harness 工程的图景

把这份工作放进我们此前梳理的 harness 工程图景:WebFovea 证明了 harness 常是故障源,AgentSWE 证明了 agent 造 agent 靠不住,Harness^2 则证明 harness 的自我改进可以系统化,三者合起来正好构成一个完整的自改进闭环该有的问题意识。对自建 harness 的团队,双层递归的架构可以直接套用:任务级先做对比实验收集改进信号,上层建一个持续学习的改进 harness,改 harness 这件事本身也变成可以被 harness 管理的任务。论文未附代码仓库,方法细节以 PDF 为准,思路本身已经足够可落地,差一个周末的工程时间。

相关文章

分享: