ByteNoteByteNote
AI 头像脸上的伪影,KAIST 用合成失败样本擦掉了
字

字节笔记本

2026年11月6日 · 约 1 分钟读完

AI 头像脸上的伪影,KAIST 用合成失败样本擦掉了

API中转
¥120

从一段视频重建的高斯头像总有些尴尬的伪影:模糊、拉伸、时间不稳定。KAIST 的 EDGAR(arXiv 2611.07909,已被 ACM Transactions on Graphics 接收)的思路很有意思:既然真实世界的失败样本难收集,那就自己合成失败。

EDGAR 论文页面

他们构建了 EDGAR-SET:由真实采集与合成渲染样本组成的混合三元组数据集,把「退化的高斯渲染」与真值图、参考图配对,专门模拟高斯头像的真实失败案例。模型是一个条件扩散框架:自监督 Sapiens 模型提取的身份特征经融合块注入单步扩散骨干,混合专家架构应对不同退化类型与严重程度。最终用法也很经济:精化后的多视角渲染作为伪目标去优化高斯形象本身,成片渲染不需要对每帧运行 EDGAR。

效果按论文口径:在三种高斯头像重建方法、每种三种设置的评估中,感知与重建指标均优于原始输出和 SDEdit 式基线;跨视角一致性提升;大偏航角与开口表情等极端设置下也验证了鲁棒性。

对做数字人、虚拟主播和视频会议形象的公司,这篇补的是「最后一公里」:重建管线已经能出头像,但脸上偶尔的伪影让成片不能播。用合成失败样本训练修复器这个思路,也适用于一切「坏样本难收集」的修复任务。另一处值得学的工程选择:修复后的多视角渲染作为伪目标去优化高斯形象本身,成片渲染不需要逐帧跑修复模型,推理成本被压在了资产生产阶段而不是播放阶段。项目页(kwanyun.github.io/edgar)公开了方法与 EDGAR-SET 数据集构成,ACM TOG 的接收也让这篇的可信度有了同行评议背书。

相关文章

分享: