便宜模型先筛、Opus 复核：成本砍 4 倍，准确率反超

用 LLM 做评判、审核、质检的开发者，最近值得看一眼 Hightouch 的工程博客（HN 308 分、68 条评论，2026-11-06）：他们拿身份解析（identity resolution）的"是否过度合并"评判做了个实验——让便宜的决策模型先判一遍，只把置信度拿不准的案子交给 Opus 复核。在 Hightouch 的基准上，混合方案准确率 98.8%、成本 $0.88/千条；全量跑 Opus 是 99.0%、$3.86/千条——成本砍 4 倍多（约 4.4 倍），准确率只掉了 0.2 个百分点。更难的测试集上，混合方案 95.3% 甚至反超 Opus 单跑的 95.1%。

先说什么是"决策模型"

博文里的 Jev（typesafe.ai）与 GPT-6 Luna（OpenAI Decisions API）是一类新模型：对"某个条件是否为真"返回一个 0–1 的置信度分数，比前沿模型快得多、便宜得多——在 Hightouch 基准里，最高便宜 90 倍、快 10 倍以上，但难例上落后前沿模型约 6 个百分点。

基准怎么搭的（博文原文）

用华盛顿大学健康度量与评估研究所的 pseudopeople 工具模拟一个虚构美国小镇，生成多来源居民记录并加入真实数据错误；建成 1000 个身份档案，一半是单人含噪声记录、一半是过度合并。人工抽查约 50 个身份/小时——要把过度合并率误差压到 ±1% 以内需 1000+ 样本。这就是"全量跑前沿模型太贵"的出处。

成绩表（50% 置信度阈值，1000 条基准，博文原文）

关键发现：校准比 raw 准确率重要

混合方案能不能成，取决于便宜模型的置信度校准。博文的核心发现：Jev 的错误大多集中在 50% 附近的低置信度区——它"知道自己不知道"；Luna 的错误却常带着 90–100% 的高置信度——便宜但过度自信。所以 Jev 更适合当"初筛"：只把置信度 30–90% 的案子（22%）交给 Opus，结果 98.8%、$0.88/千条、0.63 秒/条；Luna 混合方案（10–90%，6% 送审）98.5%、$0.33，漏掉的案子更多。

更难的测试集（双胞胎、同名父子等刻意刁难的案子）结果更有意思：Opus 单跑 95.1%（$5.39），Jev 混合 95.3%（$2.94）反超，Luna 混合掉到 91.6%。

边界与判断

三点说在前面：① 结论来自合成数据（虚构小镇）加单一任务（身份解析），别直接推广成"所有评判任务都适用"；② Luna 的教训值得记住——便宜但校准差的模型当筛子会漏案子，选筛子先看校准曲线再看准确率；③ Jev、Luna 都是新出的"决策模型"品类，价格与 API 形态都还在变，别当成定论。这篇也不是"Jev 打败了 Opus"：简单集上 98.8% 仍低于 99.0%，核心是"成本砍 4 倍、准确率基本不掉"，难例上的反超是 0.2 个百分点的微弱优势。另提醒一句：这篇的 Jev 是 typesafe.ai 的真实决策模型，和此前流传的 Claude Code 配方帖里那个"JEV"概念不是一回事，别混。

参考来源

• Hightouch 工程博客：https://hightouch.com/blog/llm-judges-identity-resolution
• HN 帖：https://news.ycombinator.com/item?id=50397429