近期，MILab在弱监督图像分割方面的研究论文“近期，MILab在弱监督图像分割方面提出的DA-WSOL框架的期刊扩展论文“Boosting Weakly Supervised Object Localization as and Segmentation With Domain Adaption”的期刊扩展版本”已被中科院一区期刊IEEE TPAMI接收。
图像定位及分割可以场景理解及疾病诊断提供重要的目标或病灶位置信息，一直以来是计算机视觉及医学影像处理中的研究热点。然而图像定位或分割模型的训练依赖于大量逐像素的密集人工标注，这一标注过程极大的耗费了时间及人力，增加了视觉从业人员及医生的工作量。为减轻标注工作的负担，弱监督图像定位方法在训练过程中利用图像级标签（如图像类别）替代像素级标注作为图像级特征的监督信号训练分类器，并在测试过程中将该分类器作用于像素级特征得到分割或定位结果。然而在图像级特征上训练的分类器倾向于仅捕捉部分具有鉴别性的特征，因此在将其应用在像素级特征进行分割时往往只能获取到部分物体区域而非物体整体。
...
我们提出域自适应弱监督分割策略可以很便捷的将域自适应方法嵌入到已有弱监督分割方法中大幅提升其性能。如图2所示，在基准模型上嵌入我们的弱监督分割方法仅需要引入一个目标样本分配器（Target Sample Assigner）进行目标域样本子集的划分，该分配器通过记忆矩阵M在训练过程中实时更新每一类别的位置类样本与真实目标域样本的锚点，并以将二者和源域特征作为聚类中心进行三路K均值聚类，得到每个目标域样本所属的子集，并依此计算分类损失Lc、域自适应损失Ld、以及Universum正则损失Lu监督训练过程，在保证源域分类准确性的情况下，尽可能的拉近源域特征与目标域特征，从而使得在测试中将分类器作用于目标域时也可得到很好地分类效果，生成质量更高的定位热力图。
图2-整体模型结构及工作流
除了会议版本中在CUB 依据会议版本中在CUB-200、OpenImage、ImageNet等弱监督定位数据集验证有效性外，本研究进一步验证了DA200、OpenImage、ImageNet等弱监督定位数据集验证有效性的基础上，本研究进一步验证了DA-WSOL生成的高质量分割伪标签对多种弱监督图像分割方法的支持作用。相关实验在VOC2012数据集和MS-COCO 2014数据集上进行。结果表明DA-WSOL方法在基于图像级标签的弱监督分割任务中表现优异。在没有任何额外信息辅助的情况下，DA-WSOL在VOC2012验证集、VOC2012测试集和MS-COCO验证集上的mIoU分别达到了69.0\%、69.7\%和44.4\%。这些结果与当前最先进的弱监督分割方法相媲美，表明本方法具有很高的泛化性，并提供了一种通过领域适应来辅助弱监督学习任务的新视角。除了使用图像级标签指导生成的伪标签直接训练分割模型外，本研究还探索了将伪标签与稀疏注释相结合，以增强稀疏标注监督的弱监督语义分割任务性能。结果表明，仅利用DA0%、69.7%和44.4%。这些结果与当前最先进的弱监督分割方法相媲美，表明本方法具有很高的泛化性，并提供了一种通过领域适应来辅助弱监督学习任务的新视角。除了使用图像级标签指导生成的伪标签直接训练分割模型外，本研究还探索了将伪标签与稀疏注释相结合，以增强稀疏标注监督的弱监督语义分割任务性能。结果表明，仅利用DA-WSOL生成的伪标签作为额外监督信号，与稀疏标注结合训练分割网络，能够在VOC2012验证集和测试集上分别达到74.4\% 4% 和73.9\%的mIoU。这一指标已接近专门为稀疏标注弱监督语义分割设计的方法，进一步证明了特征对齐策略对弱监督图像分割的有效性和通用性。9%的mIoU。这一指标已接近专门为稀疏标注弱监督语义分割设计的方法，进一步证明了特征对齐策略对弱监督图像分割的有效性和通用性。
图3-本方法与其他弱监督方法在弱监督分割任务下的性能
除了在自然图像上的标准弱监督评估基准外，本研究还在自有医学影像数据集MILAB 除了在自然图像上的标准弱监督评估基准外，本研究还在自有医学影像数据集MILAB-MR上对方法进行了实验，以验证任务对齐对医学影像弱监督分割定位种子生成质量的增强。在医学影像中，可以直接通过影像的扫描靶区或其中含有的病灶种类来直接构建图像级标签，用以利用本研究所提出的对齐策略以弱监督的方式对模型进行训练。结果表明，经由本研究提出的任务对齐策略加持，可以有效提升医学图像中定位图生成质量，从而促进弱监督分割方法在医学影像中的应用性能。
...