ByteNoteByteNote
不写思维链直接出答案:Drex 把 LLM 改造成决策模型
字

字节笔记本

2026年11月6日 · 约 2 分钟读完

不写思维链直接出答案:Drex 把 LLM 改造成决策模型

API中转
¥120

自回归大模型做决策有三宗罪:思维链给出不一致的答案、要写解析逻辑、成本和延迟都高。Nace.AI 的 Drex(arXiv 2611.07854)干脆换了个物种:不做「会聊天的模型」,做「决策模型」:给定状态、问题和用户提供的选项集,直接返回选项上的概率分布,没有自回归解码这一步。

Drex 论文页面

接口统一成一个:每条请求是一个包含文档、记录或图像的状态,问题类型只有选择(最多 255 个选项)、是否或评分三种。四个开源权重模型全部放出(DLM 8B、v1.5 9B、v2.0 35B/3B 激活、Max 27B),Max 从 Qwen3.8-27B 训练,移除了部分注意力层的因果掩码,用一个读出头把答案映射到选项代码。成绩按官方口径:Decision Index 0.4.1 上 Max 拿 67.52 超过 Jev 的 60.70;Decision Bench v4 与 d3-turbo 和 GPT-6 Sol 统计持平;延迟是最大卖点:每请求中位 183 毫秒,对比 GPT-6 Sol 约 2 秒、Claude Opus 5.5 约 3.5 秒。置信度筛选也实用:只保留最有把握的 80% 决策,精确率提到 96.1%。

注意事项论文自己写了:跨模型的关联性比较是「指示性而非严格受控」,受控消融只对 Max 做过一次。许可也要分开看:Max、v2.0、v1.5 是 Nace.AI Open RAIL-M,DLM 是 CC BY-NC 4.0(禁商用)。

这个思路对做业务系统的开发者很有启发:系统里大量「从选项里挑一个」的决策点(审批、路由、分类、风控),根本不需要长篇推理,一个 183 毫秒出概率分布的小模型,可能比每次都问大模型更稳更便宜。

相关文章

分享: