ByteNoteByteNote
留哪条记忆不该拍脑袋:两篇论文讲证据
字

字节笔记本

2026年10月5日 · 约 2 分钟读完

留哪条记忆不该拍脑袋:两篇论文讲证据

API中转
¥120

agent 的记忆该留哪条、输出哪里在胡说,这两件事多数系统都在凭启发式拍脑袋。10 月 1 日的两篇 arXiv 论文分别给它们补上了证据方法。

两篇论文封面图

Causal Memory Policy:记忆效用先得可识别

带记忆的 LLM 都要回答「这条记忆值不值得留」,判断依据是它对任务表现的影响。Behnam 与 Wang 的论文(arXiv:2610.02070)指出了一个被忽视的统计陷阱:效用估计依赖检索数据,而一条从未被检索到的记忆,其效用根本无法识别,这是检索层的正性违背。

Causal Memory Policy(CMP)的解法是对检索做干预:预留一部分上下文槽位,按已知倾向采样放入记忆,再用自归一化逆倾向加权估计效用。作者证明了记忆效用的因果分解、估计量的无偏性与精确方差,以及不可逆操作的最优决策规则。数字摆出来很扎心:LongMemEval 上 54%、LoCoMo 上 67% 的必要记忆在原方法下效用不可识别;CMP 把必要与非必要记忆的判别从 0.54 AUC 提到 0.66。更冷的一盆水是:单条查询上效用可达 0.78 AUC,但没有任何聚合方式能预测它在未见查询上的价值,保留决策不能只看分数。代码以匿名仓库托管走评审流程。

External Observers:幻觉检测换个盯梢的

Gupta 与 Buscaldi 的论文(arXiv:2610.02066)处理输出侧的质量。此前基于内部状态的探针把幻觉检测当逐 token 二分类,丢掉了语义漂移的结构边界。新框架逐层检查激活,直接定位幻觉的起点 token 与延续片段,在严重类不平衡下仍取得显著优于随机的 PR-AUC。

CMP 数字与观察者机制图

最有工程味的是跨模型设定:让一个模型监视另一个模型的内部表征,结果外部观察者对幻觉起点的定位可以追平甚至超过生成模型的自检,哪怕观察者更小。这意味着给生产管线配一个便宜的小模型质检员,从原理上就比让大模型自查更划算。该篇未见代码链接。

放在一起读

记忆侧的因果鉴别加输出侧的外部盯梢,恰好是 agent 可靠性这个木桶的两块新板。与站内的记忆系列(claude-mem、hindsight、PoS)连起来看,记忆系统的下一轮竞争显然要卷到「凭什么信」这个层面了。

相关文章

分享: