近期，MILab在中科院一区Top期刊IEEE TPAMI接收发表了在弱监督图像分割方面提出的DA-WSOL框架的期刊版本论文“Boosting Weakly Supervised Object Localization and Segmentation With Domain Adaption”。
图像定位及分割可以场景理解及疾病诊断提供重要的目标或病灶位置信息，一直以来是计算机视觉及医学影像处理中的研究热点。然而图像定位或分割模型的训练依赖于大量逐像素的密集人工标注，这一标注过程极大的耗费了时间及人力，增加了视觉从业人员及医生的工作量。为减轻标注工作的负担，弱监督图像定位方法在训练过程中利用图像级标签（如图像类别）替代像素级标注作为图像级特征的监督信号训练分类器，并在测试过程中将该分类器作用于像素级特征得到分割或定位结果。然而在图像级特征上训练的分类器倾向于仅捕捉部分具有鉴别性的特征，因此在将其应用在像素级特征进行分割时往往只能获取到部分物体区域而非物体整体。
考虑到弱监督目标定位中训练过程和测试过程所针对的特征域并不相同（源域为图像特征域，目标域则为像素特征域），MILab研究团队将弱监督目标定位看作一个特殊的域自适应任务，旨在通过域自适应方法拉近源域及目标域特征的方式增强弱监督定位效果。相比于传统域自适应任务，弱监督定位面临源域及目标域样本不平衡（目标域样本是源域的N倍）以及目标域存在未知标签（目标域存在背景类）这两个关键问题，因此，我们进一步将目标域样本分为三个子集（图1.A）：①伪源域样本(Fake target sample)表示与源域特征分布相似的目标域样本；②未知类样本(Universum sample)表示类别在源域中不存在的目标域样本；③真实目标域样本（Real Target Sample）表示其余样本。
除了利用源域样本进行监督训练保证图像级的分类的准确性以外(Lc)，上述三类目标域样本在域自适应过程中分别起到不同作用以解决在弱监督定位场景下样本不平衡及未知标签这两个问题，其中伪源域样本被看作源域样本的补充而非目标域样本，并通过MMD或者其他域自适应损失函数(Ld)拉近其与真实目标域样本的分布。而未知类样本则被用作Universum正则化保证该类样本处于分类决策边界上(Lu)，使得分类器也可以更好的关注到目标域样本而非源域样本，如图1.B所示。
图1-利用域自适应策略进行弱监督定位。A. 源域、目标域及目标域子集的划分。B. 各集合在弱监督定位中的作用。
我们提出域自适应弱监督分割策略可以很便捷的将域自适应方法嵌入到已有弱监督分割方法中大幅提升其性能。如图2所示，在基准模型上嵌入我们的弱监督分割方法仅需要引入一个目标样本分配器（Target Sample Assigner）进行目标域样本子集的划分，该分配器通过记忆矩阵M在训练过程中实时更新每一类别的位置类样本与真实目标域样本的锚点，并以将二者和源域特征作为聚类中心进行三路K均值聚类，得到每个目标域样本所属的子集，并依此计算分类损失Lc、域自适应损失Ld、以及Universum正则损失Lu监督训练过程，在保证源域分类准确性的情况下，尽可能的拉近源域特征与目标域特征，从而使得在测试中将分类器作用于目标域时也可得到很好地分类效果，生成质量更高的定位热力图。
图2-整体模型结构及工作流
依据会议版本中在CUB-200、OpenImage、ImageNet等弱监督定位数据集验证有效性的基础上，本研究进一步验证了DA-WSOL生成的高质量分割伪标签对多种弱监督图像分割方法的支持作用。相关实验在VOC2012数据集和MS-COCO 2014数据集上进行。结果表明DA-WSOL方法在基于图像级标签的弱监督分割任务中表现优异。在没有任何额外信息辅助的情况下，DA-WSOL在VOC2012验证集、VOC2012测试集和MS-COCO验证集上的mIoU分别达到了69.0%、69.7%和44.4%。这些结果与当前最先进的弱监督分割方法相媲美，表明本方法具有很高的泛化性，并提供了一种通过领域适应来辅助弱监督学习任务的新视角。除了使用图像级标签指导生成的伪标签直接训练分割模型外，本研究还探索了将伪标签与稀疏注释相结合，以增强稀疏标注监督的弱监督语义分割任务性能。结果表明，仅利用DA-WSOL生成的伪标签作为额外监督信号，与稀疏标注结合训练分割网络，能够在VOC2012验证集和测试集上分别达到74.4% 和73.9%的mIoU。这一指标已接近专门为稀疏标注弱监督语义分割设计的方法，进一步证明了特征对齐策略对弱监督图像分割的有效性和通用性。
图3-本方法与其他弱监督方法在弱监督分割任务下的性能
除了在自然图像上的标准弱监督评估基准外，本研究还在自有医学影像数据集MILAB-MR上对方法进行了实验，以验证任务对齐对医学影像弱监督分割定位种子生成质量的增强。在医学影像中，可以直接通过影像的扫描靶区或其中含有的病灶种类来直接构建图像级标签，用以利用本研究所提出的对齐策略以弱监督的方式对模型进行训练。结果表明，经由本研究提出的任务对齐策略加持，可以有效提升医学图像中定位图生成质量，从而促进弱监督分割方法在医学影像中的应用性能。
图3-本方法与其他弱监督方法在医学场景下的性能
该论文的第一作者是MILab博士生朱磊，通讯作者是卢闫晔助理教授。该研究得到了国家自然科学基金（623B2001, 82371112, 62394311）、北京市自然科学基金重点项目（Z210008）、青年学者科技创新启航计划（BMU2023YFJHMX007）的经费支持。
文章链接：https://ieeexplore.ieee.org/abstract/document/10552078/
相关代码已开源： Code-GitHub
0 评论