ByteNoteByteNote
技能写偏了,凭什么先找步骤再改文件
字

字节笔记本

2026年10月10日 · 约 3 分钟读完

技能写偏了,凭什么先找步骤再改文件

API中转
¥120

技能包写偏了,下一刀该改哪几行?SkillMorph 的答案是先对比成败轨迹,把可疑步骤钉住,再改对准的文件。论文号 2610.11858,2026-10-08 挂到 arXiv。本轮仓库页搜不到公开代码,对照仓 CAP-Evolve 能打开,完整方法的数字以论文表为准,不是本轮复现。

先找可疑步骤,再改技能文件

成败轨迹对不上,才轮到改文件

作者把技能进化拆成三圈。第一圈对每道进化题重复跑三遍,成败都留下。轨迹再被收成状态、动作、下一状态的过渡,聚类后才拿去比。第二圈用软件缺陷定位里常见的 Ochiai 打分:失败轨迹里的动作记失败覆盖,成功轨迹里再用窗口判断这一步是引入错误还是真正成功。历史圈的权重会叠进来,最后跨题求和。默认只盯排名前十的动作。第三圈才让模型顺着技能、工件、行号走,提案必须带着定位点和改写历史。

软件工程这套基准写成四十九个独立技能,每个十道题,双向对折,持有四百九十题,一千四百七十次评估。另一套是十二个互相配合的加速器技能,十五道进化、十五道持有。智能体写成 Claude Code 加 DeepSeek-V4-Flash。软件工程跑三圈,加速器套件跑五圈。对照是原技能、SkillOpt、EvoSkill、SkillAdaptor、CAP-Evolve,同一套智能体、同一份第一圈滚动。

三次都过,比整份重写更稳

软件工程持有集上,完整方法的三次命中、正确率、三次全过写成 95.51、92.24、88.37。原技能是 82.45、75.44、67.96。最强对照 CAP-Evolve 是 92.24、89.39、84.90。四百九十题里,三次命中过四百六十八,三次全过四百三十三。相对原技能,三次命中相对抬 15.84%,三次全过相对抬 30.03%。

持有集三次全过的对照

加速器持有集上,完整方法三项都是 93.33,十五题里十四题三次全过。原技能三次全过只有 46.67。相对原技能,三次命中相对抬 16.67%,三次全过相对抬一倍。细项里,软件工程四百九十题中改进一百二十六、不变九十七、回退九;CAP-Evolve 回退三十六。原先三次都过的三百三十三题,完整方法留下百分之 98.20,对照留下百分之 92.79。加速器十五题改进七、回退零。

去掉定位这一刀,软件工程三次全过掉到 82.24;只跑一遍、不叠历史,也会掉。单圈大约四十九分钟。加速器套件里,已经做对的题,执行时间从 141.55 分钟降到 87.07 分钟,少 38.49%。现场六十三名操作员、六份合并请求被收。论文承认智能体有随机性,对照是改编过的,指标不能覆盖所有技能。没有公开仓,就没法按安装步骤复现。若你要的是可下载工具,这篇还不满足;若你要看先定位再改会不会比整份重写稳,数字都在 10-08 那一版里。本轮没有把作者花名册写进正文。

相关文章

分享: