光学相干断层扫描（Optical Coherence Tomography，OCT）具有非侵入性、高分辨率及实时成像的优点，在眼科、心血管和皮肤科等医学领域的诊断和研究中发挥着重要作用。尤其是在眼科，OCT已成为诊断视网膜疾病、黄斑病变、视神经疾病及青光眼等眼病的最安全、最有效的工具之一。然而，由于OCT干涉成像原理固有的限制，图像常受到散斑噪声的影响，降低了图像的信噪比。此外，为了扩大视野并减少无意识微眼动的影响，临床医生常在维持光源扫描频率恒定下使用降采样技术来加速图像采集，从而降低了OCT图像的分辨率。因此，开发提高OCT图像信噪比和分辨率的方法尤为重要，将有助于临床医生更清晰地观察视网膜结构和疾病特征。
近期，MILab在OCT图像去噪和分辨率增强方面取得新进展，相关研究论文“PSCAT: a lightweight transformer for simultaneous denoising and super-resolution of OCT images”已被生物医学光学领域期刊 Biomedical Optics Express 在线发表。该研究提出了一种轻量级并行空间和通道注意力Transformer（PSCAT），用于对低信噪比低分辨率的OCT图像进行同时去噪和超分辨率处理。在Transformer块中，基于窗口的多头自注意力和通道注意力模块能够从空间和通道维度聚合特征，两种注意力机制相辅相成。空间注意力丰富了每个特征图的空间表达，有助于模型理解通道间的依赖关系。通道注意力则为空间注意力提供了特征间的全局信息，扩大了空间注意力的接受范围。与当前最先进的方法相比，PSCAT具有更少的网络参数和更低的计算成本，使其更适合快速处理大量的临床扫描样本。在线发表，并被遴选为当期唯一的“Editors' Pick”。该研究提出了一种轻量级并行空间和通道注意力Transformer（PSCAT），用于对低信噪比低分辨率的OCT图像进行同时去噪和超分辨率处理。在Transformer块中，基于窗口的多头自注意力和通道注意力模块能够从空间和通道维度聚合特征，两种注意力机制相辅相成。空间注意力丰富了每个特征图的空间表达，有助于模型理解通道间的依赖关系。通道注意力则为空间注意力提供了特征间的全局信息，扩大了空间注意力的接受范围。与当前最先进的方法相比，PSCAT具有更少的网络参数和更低的计算成本，使其更适合快速处理大量的临床扫描样本。
图1 PSCAT结构示意图
为了评估PSCAT在OCT图像上同时去噪和分辨率增强的性能，选取3种OCT去噪常用的传统方法（Wavelet、NLM和BM3D）、5种基于CNN的方法（EDSR、RCAN、HAN、IMDN和SAFM）、4种基于Transformer的方法（SwinIR、HAT、DAT和DLGSANet）进行了综合比较。在PKU37-val数据集上，无论尺度因子为×2还是×4，PSCAT在所有图像质量评价指标上都明显优于其他方法。特别是当比例因子为×4时，与基于CNN的EDSR模型和基于Transformer的SwinIR模型相比，PSCAT的PSNR增益分别为0.08dB和0.12dB，而EDSR和SwinIR方法的Params和FLOPS约为PSCAT的10倍和3倍。在基于Transformer的模型中，无论比例因子为×2还是×4，PSCAT都具有最快的推理时间。特别是当比例因子为×4时，PSCAT的推理时间约为SwinIR和HAT的1/3，DAT的1/5。
表1 PSCAT与非学习/基于CNN/基于Transformer的方法在PKU37-val上的定量评估
图2 不同方法在PKU37-val数据集上×2的性能比较
该论文的第一作者是MILab访问博士生姚彬（中科院微电子所博士生），通讯作者是卢闫晔助理教授和中科院微电子研究所李庆研究员。该研究得到了国家自然科学基金（82371112，62394311）、北京市自然科学基金（Z210008）、深圳科技计划（KQTD20180412181221912）的经费支持。