在计算机断层扫描（CT）图像中准确地分割解剖结构对于临床诊断、治疗计划和疾病监测至关重要。当前的深度学习分割方法往往是从数据规模和模型大小等因素进行考量。受到医生识别组织方式的启发，我们提出了一种新的方法——先验类别网络（PCNet），通过利用不同解剖结构类别之间的先验知识，来提升分割性能。我们的PCNet包括三个关键组成部分：先验类别提示（PCP）、层级类别系统（HCS）和层级类别损失（HCL）。PCP利用对比语言图像预训练（CLIP）以及注意力模块，系统地定义了临床医生识别的解剖类别之间的关系。HCS指导分割模型区分特定的器官、解剖结构和功能系统之间的层级关系。HCL作为一种一致性约束，加强了HCS提供的方向性指导，以提高分割模型的准确性和鲁棒性。我们进行了广泛的实验来验证我们方法的有效性，结果表明PCNet可以生成一个高性能的用于CT分割通用模型。PCNet框架还展示了在多个下游任务上的显著可转移性。
MILab提出一种类别先验知识嵌入通用CT分割框架形成文章《PCNet: Prior Category Network for CT Universal Segmentation Model》发表在国际学术期刊 IEEE Transactions on Medical Imaging上。
图1 层级类别系统（HCS）概述。 (a) HCS的节点-边可视化。 (b) 骨骼肌肉系统的层级组织，作为一个类别系统的例子。
一个关键组成部分是层级类别系统（HCS）。HCS结合构建层级类别。如图1 所示，它展示了具有三个层级的HCS，这些层级分别是特定器官、解剖结构和功能系统。左锁骨是一个基本类别，它属于锁骨（特定器官）、{骨骼}（解剖结构）和{肌肉骨骼系统}（功能系统）。了解左锁骨与其他骨骼的关系可以帮助模型做出更准确的预测。此外，层级类别损失（HCL）的作用是增强HCS的效果，旨在提高其指导分割模型的准确性。
图2 PCNet的概述。PCNet包含三个关键组成部分：先验类别提示（PCP，蓝色区域）、层级类别系统（HCS，橙色区域）和层级类别损失（HCL，黄色区域）。PCP将先验医学知识整合到类别提示中，为PCP图创建嵌入，这些嵌入通过注意力机制与图像特征结合。HCS按层级扩展这些类别，形成一个与基本类别相关的HCS图。然后$L_{HCL}$指导参数梯度有效捕捉这种层级信息。
图2 展示了PCNet模型的框架，其中包括一个图像分割部分（由提取器和分割器组成）和一个文本分支。这个文本分支通过将从CLIP及其衍生模型学习到的文本嵌入整合到分割模型中而受益。我们使用上述四个原则描述类别，将临床定义的先验知识整合到提示中。基于CLIP的模型将文本提示转换成嵌入。使用基于CLIP的标签嵌入至关重要，因为它能捕捉解剖学关系，使模型能够学习到健壯的结构化特征。
图3 不同方法在TotalSeg验证集和多个下游数据集上的代表性分割结果。最后一行的样本来自TotalSeg数据集的测试集。
图4 在TotalSeg分割任务中提示类型的比较分析。实验结果来自TotalSeg测试数据集。提示类型设置为PCP（先验类别提示）、LN（缺乏邻接）、OR（过度冗余）、TP（传统提示）和LA（缺乏准确性）。
图4 显示了不同提示类型对配备 STUNet-Large 和 SwinUNETR-Large 主干网络的 PCNet 性能的影响。传统提示（TP）作为基准，仅使用解剖结构的名称作为提示，没有额外的描述，如形状、大小或关系。结果表明，遵循所有原则的 PCP 提示增强了模型在各种任务中的性能，如“TotalSeg_organs”和“TotalSeg_muscles”。与 PCP 相比，LN（缺乏邻接）和 OR（过度冗余）的性能有所下降，验证了邻近结构和简单原则的有效性。通过将先验类别关系嵌入到提示中，模型被引导捕捉与邻近结构的关系，从而提高性能。简单原则对基于 CLIP 的模型尤其相关，因为关于 CLIP 的研究表明，CLIP 对较短文本提供更清晰的信息。因此，违反简单原则的过度冗余提示可能会妨碍 CLIP 模型从提示中提取文本嵌入，对通用分割模型的性能产生负面影响。图4 还显示，LN 和 OR 提示在各种任务和主干网络上相对于 TP 有一些优势。这表明，仅使用类别名称指导通用分割模型并没有充分利用基于文本的控制器和与 CLIP 的预训练的能力。此外，缺乏准确性（LA）的提示的性能显著低于基线。这归因于破坏了提示与类别之间的关系，展示了缺乏准确性的后果。实验结果暗示了两个结论：首先，准确性是最关键的原则，因为邻近结构和简单性都是基于准确的基础衍生出其重要性的。其次，基于文本的控制器对模型性能的影响是显著的。由于模型本身不会拒绝或纠正错误的先验知识，确保先验知识的准确性在 PCNet 框架中至关重要。
论文第一作者为MILab课题组博士生陈亦新，谢肇恒助理教授为本文的通讯作者，其他合作者还包括韩鸿宾教授、卢闫晔助理教授等。该研究得到了国家自然科学基金等项目的经费支持。
文章链接：https://ieeexplore.ieee.org/document/10510478
添加评论