ByteNoteByteNote
MCP 对上了事实,凭什么还不算对上出处
字

字节笔记本

2026年10月10日 · 约 2 分钟读完

MCP 对上了事实,凭什么还不算对上出处

API中转
¥120

智能体把检索、档案和库查询揉进一条回答时,事实往往能在证据堆里找到,出处却对错了人。现有忠实度分数常把“证据里有过”当成过关。这篇在生成后再加一层出处核验,按声明去对点名或暗示的来源,而不是对整池工具输出。方法写成 ProvenanceGuard。博文 2026-09-29 发在 Hugging Face,论文号 2606.18037。本轮核到的仓只有海报和稿件,复现代码还没放。数字以论文表和博文为准,不是本轮复现。

事实在证据里,不等于出处也对

先拆声明,再按来源路由

作者收了二百八十一条医疗向工具调用轨迹。训练用二百六十六条、二千三百二十五条辅助标注,留出四十条回答、三百六十一条声明。系统把回答拆成原子声明,路由到对应来源文本,用自然语言推理加校准过的支持概率打分,另开一栏看出处是不是张冠李戴。过不了就关闸,再按改写流程修一遍、重新核。本地路由用六百万参句向量,支持核对走一档自然语言推理基座,门槛 0.65。

留出集拦截 F1 是 0.802,召回 0.993,出处准确率 0.858。对照四条:短支持核对 0.783,忠实度基线 0.758,对齐分 0.662,摘要一致 0.436。博文口径:专家要拦 139 条,系统拦住 138,漏 1;能点名来源的声明里大约 86% 找对。多来源更难的那一栏,拦截 F1 0.846,精确对上出处加关系只有 0.229,精确对上出处 50.3%。五十次受控换出处,全抓住。

三百六十一条里,该拦的几乎都拦住了

拦住以后还要修得回来

全轨迹被拦的 173 条回答都走完了修复,其中 144 条落到退路;后一轮 59 条里只有 2 条退路。本地大约每条回答 0.5 秒,路由和推理多在几十毫秒。多来源锁那一栏是 59 道题、254 个用例、2587 对、263 条冻住声明。受控换出处 50 次,检测 50 次,漏 0 次。作者写得明白:证据堆里有过,不等于出处对。相似来源仍难拆,精确对上出处加关系只有 0.229,这一栏他们自己标成待改进。训练声明一千五百九十七条,验证三百六十七条,能对上来源的留出声明二百六十条。仓里目前是稿件和一张峰会海报,协议署名非商用相同方式共享,复现代码还没放。工作流编排那条集成请求还在,不能当成已经合进主仓。若你要的是可下载插件,这篇还不满足;若你要看工具调用对上事实够不够,数字都在 09-29 那一版里。本轮没有把作者花名册写进正文。

相关文章

分享: