近期，MILab在图像复原网络训练范式上取得进展，提出了一种联合退化鉴别与生成的图像复原网络训练新范式 ，相关研究论文“Bridging Degradation Discrimination and Generation for Universal Image Restoration”已被ICLR 2026会议接收。该工作聚焦统一图像复原中的核心挑战：模型不仅需要识别输入图像中的复杂退化类型和程度，还需要生成高质量且纹理丰富的恢复结果。
现有通用复原方法通常仅侧重其中一个方面：
- 一类方法强调退化识别能力，在 all-in-one restoration 中表现较好，但容易产生过平滑结果；
- 另一类方法利用 diffusion 等生成模型的生成先验，可恢复丰富纹理，但在多退化场景下常出现与输入不一致的 hallucination。
为同时解决上述问题，本文提出 BDG，通过桥接退化判别与生成能力，使模型兼具：
- 更强 restoration fidelity；
- 更丰富细节生成能力；
- 更强多退化适应性。
具体而言，本文首先提出了一种新的退化表征方法：MAS-GLCM（Multi-Angle and multi-Scale Gray Level Co-occurrence Matrix）。传统 degradation characterization 方法，如 gradient、frequency 或 handcrafted degradation parameters，往往仍然与图像内容高度耦合，导致模型难以学习真正与 degradation 相关的特征。相比之下，GLCM 通过统计像素灰度共现关系描述图像纹理结构，其结果天然弱依赖图像语义内容，因此更适合用于建模 degradation pattern。在此基础上，本文进一步将 GLCM 扩展至多角度、多尺度统计，构建 MAS-GLCM，使其能够同时刻画不同空间尺度与方向上的纹理退化特征。
在此基础上，本文进一步提出三阶段训练框架，以实现退化判别能力与生成先验的桥接。整个训练过程被划分为生成、桥接与复原三个阶段。
在生成预训练阶段，模型首先进行纯生成训练，仅学习高质量图像分布，从而获得生成先验，使模型具备强大的纹理生成能力。随后，在桥接阶段中中，模型引入残差条件，同时利用 MAS-GLCM 对退化进行特征编码，并通过 特征对齐将 MAS-GLCM 特征与生成模型的特征进行对齐。由于 MAS-GLCM 本身具备精细退化判别能力，该阶段能够逐步将退化相关信息注入生成模型，同时尽可能保留其生成先验。最后，在复原阶段，模型进一步引入完整低质量输入条件，以提升复原质量，并继续保持前一阶段中建立的退化判别能力。通过这一渐进式训练策略，BDG 实现了退化判别与细粒度生成的有效融合。
大量实验结果表明，BDG 在多个统一图像复原任务中均显著优于现有方法。
- 在 5D all-in-one image restoration 任务中。
BDG 同时处理 deraining、low-light enhancement、desnowing、dehazing 与 deblurring 五类任务，并在所有任务上取得 state-of-the-art performance。与使用相同 diffusion architecture 的 DiffUIR 相比，BDG 在 deraining、low-light enhancement、dehazing 与 deblurring 上分别提升 3.72 dB、2.30 dB、1.39 dB 与 1.94 dB，表明引入 degradation discrimination 后能够显著提升 restoration fidelity。相比此前性能优异的 DCPT，BDG 同样取得明显性能优势。
- 在 real-world all-in-one restoration 场景中。
BDG 进一步展现出良好的 zero-shot generalization capability。对于 snow、haze 与 low-light 等真实退化场景，BDG 在 PIQE 与 BRISQUE 等 no-reference image quality metrics 上取得最优或次优结果，说明该方法不仅能够保持 diffusion-based model 优秀的纹理恢复能力，同时显著提升 restoration consistency 与 fidelity。
- 此外，作者还在 mixed degradation restoration 场景中验证了 BDG 的有效性。
针对多种组合退化，如 low-light + haze、haze + rain、low-light + snow 以及三重混合退化场景，BDG 在所有 benchmark 上均超过现有 state-of-the-art 方法。其中在 haze + rain 场景下，相比 previous SOTA 提升 4.28 dB，说明该方法在处理复杂 composite degradation 时具有显著优势。
- 除了统一复原任务外，BDG 还被应用于 real-world super-resolution。
基于 Stable Diffusion 2，BDG 无需引入额外 cross-attention 或 control network，即可在多个 benchmark 上 consistently achieve top-tier performance。尤其在 full-reference metrics 上，BDG 表现尤为突出。例如在 DIV2K-Val 数据集上，相比第二优 diffusion-based 方法提升 2.45 dB PSNR。作者指出，传统 diffusion restoration methods 容易生成与 ground truth 不一致的高频纹理，而 BDG 通过显式 degradation-aware conditioning，有效抑制 hallucination，从而同时提升 fidelity 与 perceptual quality。
该论文第一作者为 MILab 博士生胡珈魁，卢闫晔助理教授为本文通讯作者。其他合作者包括 MILab 博士生姚政见。该研究得到了国家重点研发计划、国家自然科学基金以及北京大学肿瘤医院学科基金的支持。
文章链接：Arxiv
0 评论