近期,MILab在自监督对比学习预训练方面取得进展,分别提出了(1)SuperCL: 基于图像结构先验(超像素伪标签)的正负样本对构造策略;(2)MACL: 基于多层级非对称孪生网络结构的对比学习框架设计;相关研究论文(1)“SuperCL: Superpixel Guided Contrastive Learning for Medical Image Segmentation Pre-Training”已被IEEE Transactions on Image Processing接收;(2)“Multi-level Asymmetric Contrastive Learning for Medical Image Segmentation Pre-training”已被IEEE Journal of Biomedical and Health Informatics接收。
一、SuperCL: 基于图像结构先验的正负样本对构建策略研究
医学图像分割任务通常需要对每个像素进行精准分类,因此对于像素级表征能力的要求显著高于图像级识别任务。对比学习作为近年来快速发展的自监督学习范式,通过构建正负样本对实现特征表示空间的结构优化。然而,传统对比学习方法多聚焦 于实例级或单像素投影构造正负样本关系,这在医学图像领域容易忽略图像内部区域 间的结构一致性,从而引入较多假阴性样本对,导致训练过程不稳定及模型判别性能受限。鉴于此,本研究提出结合图像结构先验的医学图像分割预训练策略,从图 像内部像素局部一致性与跨图像语义相关性两方面进行正负样本对构建策略设计,以提升对比预训练对下游分割任务的泛化能力。
1. 超像素引导的局部一致对比样本对生成策略
具体来说,本研究采用SLIC 超像素算法生成超像素伪掩码,将每个超像素区域视为图像内部的语义一致区域。如图 1 所示,对于任意一对来自同一超像素簇的像素特征,我们将其视为正样本对参与像素级对比损失约束;而不同簇之间的像素则被视为负样本对。由此构建的超像素引导局部对比策略(Intra-image Local Contrastive Pairs, ILCP)能够强化组织内部特征聚合能力,提升模型对器官内部结构表达的一致性。此外,该方法不依赖人工参数配置与定位先验信息,仅通过数据自身结构信息指导对比优化,具备良好的可扩展性与迁移性,为医学图像中解剖一致性特征建模提供了有效途径。
图1. 超像素引导的局部对比约束策略示意图
2. 伪标签驱动的跨图像全局对比样本对扩展策略
尽管局部对比策略能够强化单幅图像内部结构一致性,但医学影像在不同患者间 仍存在高度相似的解剖结构,若能构建跨图像正样本对,将进一步提升全局语义建模能力。因此,本研究进一步提出跨图像全局对比样本对生成策略(Inter-image Global Contrastive Pairs, IGCP),基于弱标签方式引导跨图像语义区域关联。
为实现可靠的跨图像匹配,本研究构建两项核心技术模块:
(1)平均超像素特征图生成(ASP):将每一超像素区域的像素特征进行均值融合,以抑制局部噪声干扰并增强语义一致性,使其可作为图像区域级特征表达;
(2)连通域标签生成模块(CCL):基于ASP 特征构建最近邻连接图并提取连通域, 将同一连通域内区域视为正样本对,从而实现跨图像全局正对比关系建模。 如图2 所示,该策略无须人工阈值划分,能够自适应发现不同患者间具有结构对应关系的区域作为对比对象,通过扩大正样本数量与覆盖范围,有效强化模型的语 义泛化能力与下游分割性能表现。
图2. 基于连通域弱监督的跨图像全局对比策略示意图
研究团队在多器官分割和病灶分割两类典型医学影像应用场景上进行了算法验证,结果表明:SuperCL 在八个医学图像数据集上均展现出显著性能优势。在仅使用10%标注数据进行训练时,SuperCL相比最佳对比方法平均Dice 提升约 3.98%,Jaccard 提升约4.90%,在心脏及腹部多器官场景中优势尤其明显。当标注比例提升至25% 时,SuperCL 依旧保持约2.89% Dice 增益,并在多个任务中已经达到了或接近全监督方式的分割性能,如在MMWHS 中取得超过90%的Dice,表明该方法能够在低标注条件下实现高质量迁移学习,显著减少人工标注需求。
表1. 我们提出的SuperCL与其他对比学习方法在多器官分割任务上的定量结果
图3. ACDC、MMWHS、CHAOS、HVSMR数据集上多器官分割结果的可视化
该论文第一作者为MILab博士生曾爽,卢闫晔助理教授为本文的通讯作者。其他合作者还包括MILab博士后朱磊,博士生张心亮和何航舟。该研究得到了国家自然科学基金、国家重点研发计划、北京大学肿瘤医学科学基金、中国博士后创新人才支持计划以及北京大学“医学+X”先导计划——人工智能与医学发展专项的资助。
二、MACL: 基于多层级非对称孪生网络结构的对比学习框架设计
该项研究则是从对比学习的另一研究角度:孪生网络设计方面进行改进。医学图像分割任务本质上是一种像素级预测过程,不仅要求模型具备强大的全局语义理解能力,同时需要对局部边界及解剖细节进行准确建模。然而,现有医学对比学习方法多采用传统对称式Siamese网络,并仅在编码器端进行预训练,主要提取图像级判别特征。编码器输出为高度压缩的语义抽象表征,而解码器则主要负责空间细节恢复,两者长期割裂训练将产生以下局限:
(1)忽略像素级特征一致性需求:图像级对比学习难以提升下游分割任务的像素级表征能力;
(2)解码器完全随机初始化:损害分割细节恢复性能;
(3)未利用多尺度结构协同关系;
为解决上述痛点问题,本研究设计了一种多层级非对称对比学习框架MACL (Multi-level Asymmetric Contrastive Learning),具体来说(如图所示):(1)设计了一种多层级对比学习策略,考虑图像级、像素级和特征级表征之间的对应关系,以确保在预训练期间编码器和解码器可以学习多层级表示;(2) 为了给下游的分割模型提供更好的初始化,我们提出的MACL采用了非对称编码器-解码器的对比学习结构,将部分解码器引入单阶段对比学习框架中,并同时预训练编码器和解码器。
图4. 多级非对称对比学习框架MACL结构示意图
研究团队在多器官分割和病灶分割两类典型医学影像应用场景上进行了算法验证,结果表明:得益于我们提出的非对称对比学习框架,能够同时预训练编码器和解码器,并结合多层级对比学习,我们的 MACL 在几乎所有的度量指标上均优于现有的对比学习方法,且在不同标签数据比例下均表现良好。具体来说: (1)当使用10% 的标注数据时,我们提出的MACL在所有 4 个多器官分割数据集和4个病灶分割数据集上均取得了显著提升:例如,在ACDC 上比最优基准PCL高出1.72% 的DSC;(2)当使用25%的标注数据时,我们的 MACL 与其他对比学习方法相比,性能提升有所减小。因为随着标注样本的增加,可用的监督信息增多,导致自监督预训练带来的改进趋于饱和。尽管如此,性能提升依然稳定。例如,在MMWHS上比GCL 高出1.89% 的DSC 和2.88% 的JC,在Spleen 上比GCL 高出1.45% 的DSC和3.42%的JC。

表2. 我们提出的MACL与其他对比学习方法在病灶分割任务上的定量结果
图5. Spleen, Heart and ISIC 数据集的病灶分割结果可视化
该论文第一作者为MILab博士生曾爽,卢闫晔助理教授为本文的通讯作者。其他合作者还包括MILab博士生张心亮,陈倩,何航舟,田子枫,博士后朱磊,已毕业博士生金录嘉和谢肇恒助理教授,此外,美国佐治亚理工学院生物医学工程系Bio-MIBLab的王冬梅教授以及实验室同学也对本研究作出了重要贡献。该研究得到了国家自然科学基金、国家重点研发计划、北京大学肿瘤医学科学基金、中国博士后创新人才支持计划以及北京大学“医学+X”先导计划——人工只能与医学发展专项的资助。