ByteNoteByteNote
VA-TDM 用速度对抗蒸馏,四步出图不掉品质
字

字节笔记本

2026年11月5日 · 约 2 分钟读完

VA-TDM 用速度对抗蒸馏,四步出图不掉品质

API中转
¥120

少步扩散蒸馏有个老大难:基于分数蒸馏的方法需要在线跟踪学生模型不断变化的分布,可中间去噪步骤里学生分数估计方差大,而且常用估计器描述的分布和实际用于更新的分布根本不是同一个。VA-TDM(arXiv 2611.06796)把这层窗户纸捅破并给出了新工具:速度对抗蒸馏。

VA-TDM 论文页面

方法核心是学一个向量值 critic,去对比学生与教师的速度场,把两者的分歧当作学习信号;论文证明了最优 critic 就是速度残差本身,零残差构成纳什均衡。更漂亮的是理论收束:A、B 两种速度构造分别等价于条件矩匹配与分布分数匹配,于是分数蒸馏、Fisher 匹配、矩匹配这些散装方法被统一进了一个视角。工程上,VA-TDM 沿用沿学生轨迹的中间转移监督,两种形式共享骨干网络省显存,对在线场做教师速度正则加 critic 修正,先用学生轨迹上的 ODE 回归热身。

效果按论文口径分三档说。图像:SD3.5-Medium 四步的 GenEval 从最强基线 TDM 的 0.61 提到 0.67,多样性保持;FLUX.2-Klein-Base 4B 的 GenEval 0.78 到 0.80,OCR 相似度 0.64 到 0.69,LPIPS 多样性 0.47 到 0.56,超过官方发布的四步模型。视频加语音:在 33B 参数的 MiniMax-H3 上,同样 4 步预算对比 Fast-H3 用户研究胜率 61.33%;对比 100 步教师,偏好率 45.53% 对 Fast-H3 的 24.67%,四步逼近百步。

对做推理加速的团队,这篇的意义是方法论层面的:把蒸馏损失的选择从「试哪个都差不多」变成了「在一个统一框架里挑等价形式」。作者团队页面未标注机构,代码已开在 GitHub(Luo-Yihong/VA-TDM),拿自己的底座复现一遍四步流水线,成本不高。

相关文章

分享: