近期，MILab在OCT图像去噪研究方面取得新进展，医学影像领域顶级期刊IEEE Transactions on Medical Imaging以长文（Regular Paper）形式在线发表了题为“Triplet Cross-Fusion Learning for Unpaired Image Denoising in Optical Coherence Tomography”的研究论文。


        光学相干层析成像技术(Optical coherence tomography, OCT)是一种广泛应用于眼科、心血管内科等临床科室的成像手段，但OCT图像容易受到散斑噪声的干扰，从而降低OCT图像的成像质量和感观效果。深度学习技术由于其强大的非线性拟合能力，已被广泛应用于OCT图像去噪任务。与基于配对学习（paired learning）的去噪方法相比，基于非配对学习（unpaired learning）的去噪方法在训练阶段摆脱了大量含噪声-干净图像对的要求，可以基于非配对的含噪声-干净图像进行训练，这极大程度上降低了训练数据采集的难度。目前已有的非配对OCT图像去噪方法大多是基于cycleGAN框架，去噪模型往往比较复杂。在训练时cycleGAN框架至少使用两个生成器和两个判别器，然而在测试推理时仅使用一个生成器。


        在此基础上，MILab研究团队提出了一种能够在保证去噪精度的前提下，降低模型复杂度的新型非配对OCT图像去噪方法——三重交叉融合（Triplet Cross-Fusion Learning，TCFL）策略（图1）。与cycleGAN框架相比，TCFL策略仅使用单一的生成器和单一的判别器即可完成非配对式训练，这显著降低了模型的复杂度和参数量，节约了计算资源。除此以外，在训练过程中，TCFL策略使用到三张非配对的图像，它们的噪声成分和干净成分彼此交叉融合，帮助去噪网络更好地区分噪声成分和干净成分，以提升去噪性能。基于三张非配对图像的训练方式使得TCFL策略可以应对一些训练数据不足的场景。研究团队基于DnCNN和PatchGAN实现该策略并相应设计一种恒等损失函数，并使用了三个OCT图像去噪数据集验证TCFL策略的有效性，包括两个公开数据集（DUKE17、DUKE28）和一个实验室自制数据集（PKU37，已发布）。在定量比较方面，研究团队采用了三种无监督定量评价指标和三种监督定量评价指标。


图1  TCFL策略指导下的GAN框架，用于无监督式OCT图像去噪。


        为了验证所提策略的去噪先进性，研究团队选取九种最新对比方法，包括两种传统去噪方法（BM3D、NLM），两种基于配对学习的方法（OCTNet、N2N-DnCNN）和五种基于非配对学习的方法（nonlocal-GAN、R2R-DnCNN、NBR-DnCNN、DRGAN、SPcycleGAN）。图2展示的是基于PKU37测试集的不同方法去噪结果。对于两种传统去噪方法而言，BM3D生成了新的条纹状伪影；NLM仍有大量的噪声残余。对于两种基于配对学习的去噪方法而言，OCTNet和N2N-DnCNN都有效地消除了大部分散斑噪声，但其去噪结果都有过度平滑、丢失结构细节的问题。对于六种基于非配对学习的去噪方法而言，nonlocal-GAN去噪的同时也丢失了很多视网膜层结构的有效信息；R2R-DnCNN和 NBR-DnCNN无法有效地消除OCT中的散斑噪声，有大量的噪声残余；DRGAN虽然有效消除了散斑噪声，但其去噪后图像对比度明显减弱，并极大弱化了一些血流信号；SPcycleGAN去噪后的图像也丢失了一些结构信息；然而，研究团队所提出的TCFL-DnCNN在噪声消除、视网膜层结构保留、血流信号保留等方面均有显著的优势。


图2  不同去噪方法在PKU37测试集上的去噪视觉比较。(a1) 真实干净图像；(a2) 真实去噪前图像；(b1) BM3D；(b2) NLM；(c1) nonlocal-GAN；(c2) R2R-DnCNN；(c3) NBR-DnCNN；(c4) DRGAN；(c5) SPcycleGAN；(c6) 研究团队所提出的TCFL-DnCNN；(d1) OCTNet；(d2) N2N-DnCNN。


        为了验证模型的泛化能力，研究团队分别基于DUKE17、DUKE28开展了跨域测试研究。如图3所示，与在PKU37测试集上的去噪表现类似，两种基于配对学习的去噪方法过度模糊了去噪后的OCT图；nonlocal-GAN丢失了很多视网膜层信息；R2R-DnCNN和 NBR-DnCNN无法有效消除散斑噪声；DRGAN降低了不同结构间的对比度；SPcycleGAN丢失了一些微小结构信息。然而，研究团队所提出的TCFL-DnCNN展现出了更加卓越的跨域去噪性能。


图3  不同基于深度学习的去噪方法在DUKE17上的去噪视觉比较。


        此外，为了近一步验证TCFL降噪策略的普适性，研究团队还分别使用了U-Net和SRDenseNet作为TCFL策略的生成器，进行了实现与验证。结果显示，TCFL广泛适用于不同结构的卷积神经网络。为了探索TCFL策略有效去噪的关键因素，研究团队针对恒等损失函数开展了消融研究。并通过模拟不同程度的散斑噪声，验证了TCFL策略指导下的去噪网络的抗噪鲁棒性。除此以外，研究团队还模拟了不同程度的训练样本不足的场景，证明了TCFL策略对于训练样本数量减少的容忍能力。最后，通过下游的视网膜层分割任务，进一步证明了TCFL策略去噪后的图像可以显著提升下游分割任务的精度。


        上述实验结果表明，与同领域的最新（state of the art, SOTA）非配对去噪方法相比，TCFL策略无论是在定量指标上，还是视觉效果上，均具有显著的去噪性能提升，在对噪声进行有效消除的同时，还保留了更多结构细节。虽然在某些定量指标方面，TCFL策略不如最新的配对去噪方法，但TCFL策略在同时兼顾噪声消除和结构保留两个方面具有一定的优势。


        该论文的第一作者是MILab博士耿慕峰，通讯作者是卢闫晔研究员。其他合作者还包括北京肿瘤医院孟祥溪博士、张艺宝博士，北京大学任秋实教授等。该研究得到了北京市自然科学基金重点项目（Z210008）、深圳科技计划（KQTD20180412181221912、JCYJ20200109140603831）、北京市教育部癌变与转化研究重点实验室开放项目（2022 Open Project-2）的经费支持。

        相关代码和数据集已开源，欢迎使用。详见：Open Source Project

       


文章链接：https://ieeexplore.ieee.org/document/9800979


  • 无标签
写评论...