
字节笔记本
2026年11月3日 · 约 4 分钟读完
同一模型换个壳,智商打折?
「同一模型换个壳,智商打折?」这是 V2EX 网友在 11 月 2 日发出的疑问。先声明框架:原帖是单人主观体验,样本量为 1、没有对照变量,本文把它当成一个值得讨论的问题,而不是一个已验证的结论。但这个问题恰好能接到一组可复核的数据上,值得展开。

一、帖子里发生了什么
发帖人自述不是程序员、正在学 AI Coding,做 Mac 小软件时发现:同一个 GLM 5.3 flash,在各种 Harness Agent 里都不如在 Claude Code 里聪明。弱 harness 下的症状相当典型:画 UI 画到一半,模型开始「玩 Cosplay」,说出「最迟 30 分钟给方案,你的这个改动要花一天工时」这类拟人话术,实际什么都画不出来,也不知道自己为什么错,陷入拟人化出错的死循环。换到 Claude Code,同一个模型「真的能分析出来到底哪一个地方错了、到底哪一个地方用的参数不对」。帖主的疑问是:Harness 的差距也这么大,这是为啥?帖子里点名了具体产品,这里按「用户实测反馈」引用,不做定论。
二、定量对照:+13 个百分点
巧合的是,这个体感有数据呼应。《State of AI Report 2026》引用的编码实验显示:模型权重保持不变,只换 harness,GLM-5.1 在 SWE-bench Verified 的 100 题上从 52.5%(minimal harness)跃升到 65.5%(full harness),提升 13 个百分点。报告的两句结论值得原样记录:「模型能力不等于交付能力」;「比较 Agent 时需要交代外围执行条件……仅把模型名字写在一张表里,解释不了最终差距」。边界也要划清:这是针对指定编码任务集的结果,不能改写成「所有企业接入 harness 都能提升 13 个百分点」。
三、损耗的四个来源
harness 是围绕模型、把「一次回答」变成「持续干活」的执行环境。损耗至少来自四个地方:一是 system prompt 质量,Claude Code 的是 Anthropic 多年迭代的产物,弱 harness 用的是通用模板,所谓「Cosplay」式借口本质是模型退回 chatbot 模式;二是反馈闭环,Claude Code 给的是读文件、改、运行、看真实报错、再改的循环,弱 harness 只给「生成代码,你看对不对」;三是上下文管理,丢弃、总结、留档的决策直接决定结果质量;四是工具设计的颗粒度。准确表述是:不是模型变笨了,是 harness 没把它的能力「交付」出来。
四、冷水与自查清单
回到那四条质疑:样本量 1 且无对照变量;13 个百分点不可泛化;「Cosplay」也可能是模型自身的调优风格问题;Claude Code 的优势可能部分来自它和自家模型的协同特调。把这些都算上,问题依然成立。自查清单四条:选 agent 先看 harness 再看模型,便宜的强模型加顶级 harness 可能打赢贵模型加弱 harness;任务做不好时,先换 harness、再调 prompt、最后才换模型;看到「某模型 coding 得分 X」,先问用的是哪个 harness;判断 harness 强弱,就看它给不给模型「读文件、运行、看报错」的闭环。

来源:V2EX 原帖 v2ex.com/t/1253981(2026-11-02);State of AI Report 2026 引用编码实验(经阿里云开发者社区转述)。


