近期，MILab在弱监督图像分割领域取得了新进展，相关研究论文“Branches Mutual Promotion for End-to-End Weakly Supervised Semantic Segmentation”已被中科院一区Top期刊IEEE Transactions on Neural Networks and Learning Systems接收。
医学图像的定位与分割对精度要求极高，在传统的监督学习框架中，模型训练通常依赖大量逐像素的密集标注数据。然而，医学影像的密集标注需要经过专业培训的医务人员，而在医疗资源有限的发展中国家，医务人员不仅要应对繁重的门诊工作，还难以承担如此大规模的影像标注任务。此外，医学图像在成像过程中常常受到噪声干扰，导致病灶或器官边缘模糊，进一步增加了逐像素或逐体素标注的难度。因此，作为标注难度大、成本高的典型场景，医学影像分割亟需引入弱监督定位与分割框架来应对这一挑战。 然而，现有的弱监督分割方法普遍存在种子区域覆盖范围小、伪标签细节不足、边缘拟合不理想、模型流程复杂以及训练效率低下等问题，这些问题在医学影像处理等应用场景中严重制约了性能与效率。针对上述问题，我们提出了一种图像级标签指导的协同式单阶段弱监督分割策略。该策略旨在大幅简化训练过程，并在任务间引入一致性约束，从而实现定位模型与分割模型的互补与协同优化。
总体而言，我们认为当前单阶段弱监督图像分割框架存在一个误区，即过分依赖定位模型生成的伪标签来训练分割模型。实际上，在训练过程中，分割模型的性能在某些时刻可能超过仅依赖图像级标签训练的定位模型。从这个角度看，分割模型的输出同样可以反作用于定位模型，从而生成更为准确的伪标签，并进一步促进分割效果的提升。然而，目前大多数弱监督图像分割方法未能考虑到分割模型对定位模型的这种反馈作用，使得依赖恒定伪标签的训练策略在一定程度上限制了分割模型的性能。因此，本工作将弱监督定位模型与图像分割模型视为两种获取分割结果的互补方式，并通过单阶段训练同时优化这两个模型，保证二者在生成分割结果时的一致性，实现协同互促。
图1 BMP框架的整体思想——分类分支与分割分支协同共进
具体来说，定位模型首先利用高层特征进行分类以生成粗糙的定位图，并借助底层信息对定位图的边缘细节进行补全，随后结合额外的背景信息确定最终的分割结果。但由于定位模型在训练过程中完全依赖于图像级标签的监督，且难以同时捕捉多尺度信息，加之存在域差异问题，其生成的定位图通常不够平滑，且无法直接生成背景类别图，必须引入额外背景信息辅助生成分割图。而分割模型则通过多尺度特征融合，并对融合后的特征进行前景与背景的联合分类，从而产生更为平滑且包含背景类别的预测结果，但由于仅依赖粗糙伪标签进行监督，容易出现欠分割和误分类问题。可以看出，定位模型与分割模型在原理上具有一定的互补性，对二者施加一致性约束能够在一定程度上实现协同：一方面扩大了定位模型的覆盖范围，另一方面减少了分割模型的误分类情况。此外，我们还设计了交互模块，使分割模型能够为定位模型提供像素级的背景预测，以缓解其对额外背景信息的依赖；同时，定位模型则为分割模型提供物体先验，进一步增强分割模型的类别判别能力。
图2 BMP框架的实现细节——引入两分支的一致性约束，通过交互模块促进两分支信息传递
我们在VOC2012和MS-COCO这两个标准弱监督分割数据集上对所提方法进行了性能和效率验证。结果表明，该方法仅依赖单阶段训练即可达到与多阶段方法相当的性能，同时显著降低了模型参数量和训练复杂度。此外，我们还验证了该方法在多种弱监督标注场景下的适用性及在医学影像应用中的可信度。
图3 BMP框架的弱监督分割性能
该论文的第一作者是MILab博士生朱磊，通讯作者是卢闫晔助理教授。该研究得到了国家自然科学基金（623B2001, 82371112, 62394311）、北京市自然科学基金重点项目（Z210008）、青年学者科技创新启航计划（BMU2023YFJHMX007）的经费支持。
文章链接：https://ieeexplore.ieee.org/abstract/document/10715685
相关代码已开源： Code-GitHub
添加评论