近期，MILab在图像去噪方面取得新进展，相关研究论文“One-Pot Multi-frame Denoising”已被计算机视觉领域顶级期刊International Journal of Computer Vision（IJCV）在线发表。而在此之前，该工作的先期研究已被计算机视觉老牌会议The 33rd British Machine Vision Conference（BMVC 2022）接收为“亮点研究（Spotlight）”并在会上发表演讲报告。
在大多数现实场景中，获取干净图像通常很困难，这使得在Noise2Clean（N2C）范式下的监督学习变得脱离实际。为了解决这一问题，Noise2Noise（N2N）被提出，它使用成对的含噪图像来训练模型，相应的代价是去噪性能的折损。进一步地，诸如Noise2Void（N2V）的自监督算法也被提出，它们仅依赖单张含噪图像来实现效果尚可的去噪，从而进一步减少了对数据的要求。值得注意的是，虽然获取干净图像通常具有挑战性，但有时可以获取同一视场的多张含噪图像，这一获取甚至是自然的，例如在摄影中的闪烁成像、天文学中的深空成像以及医学影像中的光学相干层析扫描。在这些情况下进行去噪的任务被称为多帧图像去噪（MFD），它通过特定方式的融合将多个含噪帧转变为单张干净图像。
不幸的是，所有现有的基于学习的多帧图像去噪（MFD）方法都是有监督的，这要求必须同时具备多个含噪帧和与它们相对应的干净帧。为了突破这一限制，我们提出了一种无监督的MFD策略：一锅式多帧图像去噪（OPD）。方法名中的“一锅式”源于有机合成领域，强调了一步式地直接从全部多个含噪帧中进行学习。如图1所示，与N2C中的（含噪-干净）图像对或N2N中的（含噪1-含噪2）图像对或N2V中的单张（含噪）图像不同，我们所提出的OPD旨在突破成对监督关系的限制，扩展监督的范围，使模型的监督视野涵盖对应于同一视场的多个含噪帧。由此，OPD在模型训练中赋予每个含噪帧同等的重要性，从而允许模型在训练过程中提取更多隐藏的帧间信息。
图1 我们提出的OPD与其他代表性去噪策略在监督模式上的比较
具体而言，我们开发了两种方法来在模型训练过程中具体实现OPD策略（图2）。第一种方法是随机耦合（OPD-RC），这是一种新型的数据配对方法。在模型的每次迭代中，OPD-RC会随机重排列图像对，从而使模型在整个训练过程中能够随机而平等地可见多帧之间的任意单向监督关系。换言之，OPD-RC使得每个含噪帧在每次迭代中以相等的概率出现，并有同等机会作为输入或标签。经过足够多次的迭代之后，有理由认为每个含噪帧都被等概率地利用，并且在实际意义上间接建立起了多个含噪帧之间的多重互监督关系。OPD-RC的优势在于显著增加了数据配对和监督的多样性，而无需额外的时间或空间消耗。
图2 OPD-RC、OPD-AL及其他代表性去噪策略的原理对比示意图
第二种实现OPD策略的具体方法是离差损失（OPD-AL），它提供了一种更加公式化和更具直观性地理解OPD策略的形式，并且具有与OPD-RC相当的去噪表现：
上述公式中，在多帧图像之间进行多重多向监督的关键保证是L_A项，它鼓励模型识别帧间离差。将L_A项补充到传统损失中能够鼓励模型提取每个含噪帧独有的噪声信息并增强帧间信息流通，从而使学习能够从更宏观的角度充分利用多帧图像。此外，当m等于2时，L_{OPD}将退化为具有相互监督关系的N2N损失。这表明OPD是N2N在帧数外推下的广义形式。
为了评估所提出策略的有效性，我们对三种不同类型的经典噪声——加性高斯白噪声、信号相关的泊松噪声和乘性伯努利噪声进行了实验，结果见图3。此外，我们还在三个更具挑战性的任务上测试了OPD的极限性能，具体包括混合盲去噪、随机值脉冲噪声去噪和文本去除。大量实验结果表明，我们所提出的OPD策略在所有参与测试的去噪或其他图像转换任务中，在无监督方法中表现出了领先行业的降噪性能（SOTA），甚至在大多数任务中的表现与有监督下的U-Net和DnCNN相当，详情见表1。
图3 OPD-RC、OPD-AL及其他代表性去噪策略对三种典型噪声的去噪效果示例
表1 OPD及其他去噪方法对三种典型噪声去噪结果的量化评估
该论文的第一作者是MILab博士生金录嘉，通讯作者是卢闫晔助理教授。该研究得到了国家自然科学基金（82371112）、北京市自然科学基金重点项目（Z210008）、青年学者科技创新启航计划（BMU2023YFJHMX007）和深圳科技计划（KQTD20180412181221912, JCYJ20200109140603831）的经费支持。
文章链接：https://link.springer.com/article/10.1007/s11263-023-01887-7
相关代码已开源：https://github.com/LujiaJin/One-Pot_Multi-Frame_Denoising
添加评论