ByteNoteByteNote
任务过了关,不该当成那张技能卡还在干活
字

字节笔记本

2026年10月9日 · 约 2 分钟读完

任务过了关,不该当成那张技能卡还在干活

API中转
¥120

编码智能体一装技能卡,任务通过率看起来还行,并不等于你点名的那张卡还在干活。预印本 One Skill Too Many 在 2026-10-08 挂到计算科学软件工程列表,副题写共装技能会怎样互相抢活。配套公开仓放出了案例、运行脚本和六千三百六十八轮日志。仓本身本轮是零星,事实以预印本和日志为准,不要按星数判断。

作者从两万零九百四十七个公开仓重建安装,得到五万五千六百九十八张不重复技能卡,用名字和描述向量召回八十二万二千一百零九对候选,再抽三千七百五十四对让模型判定,确认一千六百三十九对同类。实验集落到三百一十二对。主分析五千一百六十二轮配置,加上五百三十六轮重复,一共五千六百九十八条观察。另有一千八百七十份先读摘要、一百一十九对上的六百七十次守卫对照,以及一百九十三对上七百一十二个另一家模型的分数。工具调用合计十六万九千二百九十四次,大约五百四十二小时,接口费用写成约五千五百五十美元。

通过率会骗人

先读到谁,谁就定调

已装技能里大约 23.5% 已经和一张干同一件事的卡共装,大约一万零一百个家族。63.7% 的同类对来自另一位作者。被判定的技能里 37% 坐在复制集合里,不是一对一精选。加上同类卡后,目标技能被调用掉 19.9 个百分点,换成无关卡只掉 5.9。任务完成率反而升 1.9 个百分点,独占核心功能保真掉 5.6。被顶掉之后,回复里点名原技能的只有 0.9%。个人目录同名覆盖会让目标技能调用再掉 35.0 个百分点,插件侧同类只用到 2.9%。

更关键的是时机。先读到同类卡时,独占功能保真再掉 9.4 个百分点,其中 97% 发生在改任何文件之前。论文加了一道第一读守卫:96% 会切回目标技能,独占功能保真正 9.1 个百分点。主实验跑在一个编码智能体发行版上,对照了三个档位的模型。另一家模型在一百九十三对上做了抽查。数字以预印本表格为准,不是本轮复现。

冲突从哪来

结论很硬:同类技能大约五分之一轮次会把活抢走,通过率却几乎不动,甚至更好看。评测如果只看任务过不过,会把功能被换走当成成功。作者建议给独占核心功能单独打分,守住第一次读技能卡,并在回复里写明到底跑了哪一张。仓库没有许可证字段,日志和脚本可以复盘,不能当成要天天盯的产品。本轮只把这组对照写清楚:先别再往技能目录里一股脑塞同类卡。

相关文章

分享: