近期,MILab在医学图像去噪研究方面取得新进展,医学影像领域顶级期刊IEEE Transactions on Medical Imaging (IF: 10.048)以长文(Regular Paper)形式在线发表了题为“Content-Noise Complementary Learning for Medical Image Denoising”的研究论文。


        医学图像为临床疾病检测与诊断提供重要的辅助信息。然而在医学图像的采集或是图像重建的过程中,噪声的引入往往是不可避免的,进而降低了医学图像的成像质量和感观效果、影响医生对病情的诊断以及后续治疗方案的制定。大量研究表明,相较于传统的去噪算法(例如BM3D、NLM等),基于深度学习的去噪方法无论是在结构保留还是噪声消除方面均展现出了更优越的性能。当前基于深度学习的去噪方法要么直接学习干净的医学图像,要么先学习噪声然后通过全局残差(Residual Mapping)得到干净的医学图像。这两种学习范式都有其固有的优势:对干净图像的直接学习往往展现出更稳定的噪声消除性能,对噪声的学习有助于保留更多的结构细节以及避免模型训练中梯度消失或梯度爆炸等问题。


        为了互补利用上述两种学习范式的优势,MILab研究团队提出了一种新型的信号—噪声互补学习策略(Content-Noise Complementary Learning, CNCL)用于医学图像去噪。该策略使用两个并行的卷积神经网络(Convolutional Neural Network, CNN),一个直接学习干净的图像,另一个学习噪声。并通过一种特别设计的融合机制将两个CNN的输出进行互补融合,得到最终的干净图像。研究团队基于生成对抗网络(Generative Adversarial Networks, GAN)框架和三种具有代表性的CNN(包括U-Net、DnCNN、SRDenseNet)实现该策略并开展研究(图1),并在四种去噪场景中验证CNCL策略的去噪性能,包括:低剂量CT重建、低剂量PET重建、快速扫描MR图像增强、自然图像去噪。


1. CNCL的网络实现。(a)基于生成对抗网络框架的CNCL实现;(b)三种具有代表性的CNN


        在低剂量CT重建降噪方面,研究人员选取了BM3D、 RED-CNN、WGAN-VGG、Q-AE作为对照方法。如图2所示,尽管所有的方法都展现了一定的去噪性能,但BM3D生成了新的条纹状伪影,RED-CNN和Q-AE不同程度地引起过度模糊的问题,WGAN-VGG虽然保留了更多的结构信息但仍具有较多的噪声残余。本研究所提出的CNCL策略(CNCL-U-Net、CNCL-DnCNN、CNCL-SRDenseNet)不仅有效地消除了CT低剂量噪声还保留了更清晰的结构特征。其中,CNCL-U-Net相较于CNCL-DnCNN和CNCL-SRDenseNet保留了更好的血管结构(红色箭头所指)。

2. CNCL及对照方法在低剂量CT重建任务上的去噪效果对比。


        在低剂量PET重建降噪方面,研究人员选取了BM3D、 U-Net、DnCNN、cGAN作为对照方法。如图3所示,箭头所指为两处微小病灶,尽管U-Net、DnCNN、cGAN都能有效地消除低剂量PET噪声,但它们也将微小病灶当作噪声进行了抹除。BM3D一定程度地保留了微小病灶的信号,但仍然遭受过度模糊的问题。本研究所提出的3种CNCL网络在确保有效的噪声消除的前提下,都具备保留微小病灶的能力,具有良好的临床应用价值。


3. CNCL及对照方法在低剂量PET重建任务上的去噪效果对比。


        为了进一步验证CNCL策略的广泛适用性,研究人员在快速扫描MR图像增强方面也开展了应用探索,并选取了NLM、U-Net、DnCNN、SCNN作为对照方法。如图4所示,与NLM方法相比,所有的深度学习方法都展现出了更为优异的MR图像增强性能。但U-Net、DnCNN和SCNN都在不同程度上引起结构细节破坏问题。本研究所提出的CNCL方法从4倍下采样的MR图像中有效地恢复重建出媲美全采样的MR图像。


4. CNCL及对照方法在快速扫描MR图像增强任务上的去噪效果对比。


        除了医学图像去噪任务,本研究还将CNCL策略扩展应用到自然图像去噪任务。如图5所示,CNCL策略证明了其应对自然噪声的能力,其中CNCL-U-Net保留了更多的结构细节,具备一定的自然图像去噪应用潜力。

5. CNCL及对照方法在自然图像降噪任务上的去噪效果对比。


        此外,为了近一步验证CNCL降噪策略的普适性与泛化性,研究团队还分别基于WGAN框架和non-GAN框架对CNCL策略进行了实现与验证。结果显示,CNCL广泛适用于多种深度学习框架,其中基于GAN的CNCL方法在噪声消除和结构保留方面均优异于基于non-GAN的CNCL方法。


        上述实验结果表明,与同领域的最新(state of the art, SOTA)降噪方法相比,CNCL策略无论是在定量指标(MSE、PSNR、SSIM)上,还是视觉效果上,均具有显著的去噪性能提升,在对噪声进行有效消除的同时,还保留了更多结构细节。CNCL策略有望于为医学图像去噪任务提供一种通用的解决方案,无需针对特定模态、特定任务设计特别的深度学习网络。


        该论文的第一作者是MILab博士生耿慕峰,通讯作者是卢闫晔研究员。其他合作者还包括北京肿瘤医院孟祥溪博士、于江媛博士、李慧博士、杨志主任,联影智能孔含静博士、袁健闵博士,河北大学杨昆教授,北京大学韩鸿宾教授、任秋实教授等。该研究得到了北京市自然科学基金重点项目(Z210008)、深圳科技计划(1210318663)、河北省自然科学基金(H2019201378)、国家生物医学成像大设施基金、深圳南山创新与业务发展基金及上海市科技项目(20JC1419500)的经费支持。


文章链接:https://doi.org/10.1109/TMI.2021.3113365

相关代码已开源:Code-GitMILab    Code-GitHub


  • 无标签
写评论...