
字节笔记本
2026年11月6日 · 约 2 分钟读完
从去雨到去雪一个模型全包:UniRestorer++ 扩到 2.9B
统一图像修复模型一直缺一张清晰的扩展路线图:直接加深加宽骨干会性能饱和,多任务目标还互相打架(去噪和去模糊的偏好就不一样);退化感知的专家分配又对退化估计误差敏感,一到真实数据就容易选错专家。UniRestorer++(arXiv 2611.06042)给出了自己的答案:把「退化」本身组织成一棵层次树。

做法三层递进。退化层次树用递归 K-means 构建,每加深一层就细化退化分组并挂一组 rank-8 的 LoRA 专家,容量增长与退化特化耦合。双路由机制负责选路:先由退化估计路由确定根到叶的路径,再由粒度路由选择合适的层级,不确定时可以回退到粗粒度的祖先专家。最妙的是密集退化表示图:一张基于 ResNet-18 的退化图让不同空间位置选不同专家,一张图里左半边有雨、右半边有雾也能各用各的专家处理。
扩展性的数字是论文的核心卖点:最大模型 2.9B 参数、510 个 LoRA 专家,自称已知最大的保真导向统一修复模型,但推理时的计算量与延迟几乎不变(176M 版本仅需 1255G FLOPs、0.515 秒);7 任务平均 PSNR 32.24 dB,超过前作的 31.81;PSNR 随参数量近似对数线性增长,拟合斜率优于普通 MoE 方案。最实用的是少样本能力:5-shot 微调后在 17 个测试集中的 14 个超越专家模型,RealSnow 上 5-shot 达 33.28 dB,专家模型只有 30.94。
覆盖面覆盖七种单退化(去雨、去雾、去噪、去模糊、低光、去雪、JPEG 去压缩)加复合退化,还自建了 CDD-50 基准(50 种退化组合)。真实世界零样本评测横跨 SIDD、RealBlur、WeatherStream 等七个数据源。作者页面机构信息显示不完整(团队此前工作发表于 ICLR 2026),代码承诺开源。对做老照片修复、监控画面增强的团队,这种「一个模型包打所有退化」的路线,维护成本远低于一支专家模型军队。



