ByteNoteByteNote
终端任务涨了分,换套件就掉回去
字

字节笔记本

2026年10月10日 · 约 2 分钟读完

终端任务涨了分,换套件就掉回去

API中转
¥120

终端智能体常被当成只换模型就能涨分。套件一换,昨天刚过的题今天又红。这篇把运行环境和策略拆开升,轨迹按出处对齐再拿去训。方法写成 CoTrace。论文号 2610.10426,2026-10-07 挂到 arXiv,三十二页七张图十七张表。本轮没有项目仓。数字以论文表为准,不是本轮复现。

晋升集上,对齐轨迹才能把模型分拉起来

两千二百道终端题,晋升集先冻住

评测写成两千二百道可执行终端题,容器和程序校验都在。外环用一百零二道冻住的晋升集报分,每轮再转五十道进化题,强化学习池最多一百道,编号互不重叠。套件搜索走已调过的配置空间:工具、处理器、提示词。搜索是两代淘汰,五代加五代,过筛还要过准入。

九十亿思考档上,只改套件从 77 到 81,多出来的四道全算套件。混进别家轨迹从 77 到 86,仍是套件九道、模型零道。对齐出处再监督微调,从 78 到 88,套件四道、模型六道,每轮大约四十七个卡时。强化学习在位分到 90,套件五道、模型七道,每轮大约六十二个卡时;下一档候选 85,按新解开必须多于新弄坏的规则被拒。四十亿档监督微调只从 65 到 69,强化学习从 67 到 79,十二道全算模型。

混进别家的轨迹一百四十九到三百零八条,三次模型晋升零接受。对齐后的监督微调只要三十到五十条,五次里两次接受,模型净加六道。强化学习两千三百零四幕,四次里三次接受。

同一套权重,套件对上了分才跟得上

换套件之后,涨分不一定跟得过去

作者写得明白:出分布迁移根本上取决于套件合不合。终端公开集八十九道、基线套件、三轮平均,监督微调 18.3 加减 2.5,基座 18.7 加减 1.5,几乎贴着。软件工程精简集三百道上,同一套权重换运行时,数字能差开:外来迷你套件三档是 34.7%、24.7%、36.7%;跟共进化套件走,监督微调从 24.7% 到 35.0%,没补丁从一百五十五掉到六十四;强化学习 41.0%,基线配对 37.3%。单次评测噪声大约正负两道。

论文只跑了一家模型族两个规模,监督微调和强化学习算力也不对齐,元智能体还没公开。若你要的是可下载终端套件,这篇还不满足;若你要看涨了的分换套件会不会掉回去,数字都在 10-07 那一版里。本轮没有把作者花名册写进正文。

相关文章

分享: