在计算机断层扫描（CT）图像中准确地分割解剖结构对于临床诊断、治疗计划和疾病监测至关重要。当前的深度学习分割方法往往是从数据规模和模型大小等因素进行考量。受到医生识别组织方式的启发，我们提出了一种新的方法——先验类别网络（PCNet），通过利用不同解剖结构类别之间的先验知识，来提升分割性能。我们的PCNet包括三个关键组成部分：先验类别提示（PCP）、层级类别系统（HCS）和层级类别损失（HCL）。PCP利用对比语言图像预训练（CLIP）以及注意力模块，系统地定义了临床医生识别的解剖类别之间的关系。HCS指导分割模型区分特定的器官、解剖结构和功能系统之间的层级关系。HCL作为一种一致性约束，加强了HCS提供的方向性指导，以提高分割模型的准确性和鲁棒性。我们进行了广泛的实验来验证我们方法的有效性，结果表明PCNet可以生成一个高性能的用于CT分割通用模型。PCNet框架还展示了在多个下游任务上的显著可转移性。
MILab提出一种类别先验知识嵌入通用CT分割框架形成文章《PCNet: Prior Category Network for CT Universal Segmentation Model》发表在国际学术期刊 IEEE Transactions on Medical Imaging上。
图1 层级类别系统（HCS）概述。 (a) HCS的节点-边可视化。 (b) 骨骼肌肉系统的层级组织，作为一个类别系统的例子。
一个关键组成部分是层级类别系统（HCS）。HCS结合构建层级类别。如图1 所示，它展示了具有三个层级的HCS，这些层级分别是特定器官、解剖结构和功能系统。左锁骨是一个基本类别，它属于锁骨（特定器官）、{骨骼}（解剖结构）和{肌肉骨骼系统}（功能系统）。了解左锁骨与其他骨骼的关系可以帮助模型做出更准确的预测。此外，层级类别损失（HCL）的作用是增强HCS的效果，旨在提高其指导分割模型的准确性。
图2 PCNet的概述。PCNet包含三个关键组成部分：先验类别提示（PCP，蓝色区域）、层级类别系统（HCS，橙色区域）和层级类别损失（HCL，黄色区域）。PCP将先验医学知识整合到类别提示中，为PCP图创建嵌入，这些嵌入通过注意力机制与图像特征结合。HCS按层级扩展这些类别，形成一个与基本类别相关的HCS图。然后$L_{HCL}$指导参数梯度有效捕捉这种层级信息。
图2 展示了PCNet模型的框架，其中包括一个图像分割部分（由提取器和分割器组成）和一个文本分支。这个文本分支通过将从CLIP及其衍生模型学习到的文本嵌入整合到分割模型中而受益。我们使用上述四个原则描述类别，将临床定义的先验知识整合到提示中。基于CLIP的模型将文本提示转换成嵌入。使用基于CLIP的标签嵌入至关重要，因为它能捕捉解剖学关系，使模型能够学习到健壯的结构化特征。
图3 不同方法在TotalSeg验证集和多个下游数据集上的代表性分割结果。最后一行的样本来自TotalSeg数据集的测试集。
图4 在TotalSeg分割任务中提示类型的比较分析。实验结果来自TotalSeg测试数据集。提示类型设置为PCP（先验类别提示）、LN（缺乏邻接）、OR（过度冗余）、TP（传统提示）和LA（缺乏准确性）。
图4 显示了不同提示类型对配备 STUNet-Large 和 SwinUNETR-Large 主干网络的 PCNet 性能的影响。传统提示（TP）作为基准，仅使用解剖结构的名称作为提示，没有额外的描述，如形状、大小或关系。结果表明，遵循所有原则的 PCP 提示增强了模型在各种任务中的性能，如“TotalSeg_organs”和“TotalSeg_muscles”。与 PCP 相比，LN（缺乏邻接）和 OR（过度冗余）的性能有所下降，验证了邻近结构和简单原则的有效性。通过将先验类别关系嵌入到提示中，模型被引导捕捉与邻近结构的关系，从而提高性能。简单原则对基于 CLIP 的模型尤其相关，因为关于 CLIP 的研究表明，CLIP 对较短文本提供更清晰的信息。因此，违反简单原则的过度冗余提示可能会妨碍 CLIP 模型从提示中提取文本嵌入，对通用分割模型的性能产生负面影响。图4 还显示，LN 和 OR 提示在各种任务和主干网络上相对于 TP 有一些优势。这表明，仅使用类别名称指导通用分割模型并没有充分利用基于文本的控制器和与 CLIP 的预训练的能力。此外，缺乏准确性（LA）的提示的性能显著低于基线。这归因于破坏了提示与类别之间的关系，展示了缺乏准确性的后果。实验结果暗示了两个结论：首先，准确性是最关键的原则，因为邻近结构和简单性都是基于准确的基础衍生出其重要性的。其次，基于文本的控制器对模型性能的影响是显著的。由于模型本身不会拒绝或纠正错误的先验知识，确保先验知识的准确性在 PCNet 框架中至关重要。
论文第一作者为MILab课题组博士生陈亦新，谢肇恒老师为本文的通讯作者，其他合作者还包括卢闫晔教授等。
获得全眼参数是评估眼科疾病进展和制定治疗计划的重要前提。然而，现有的成像技术，如超声、磁共振和OCT，往往功能单一，或成本高，或空间分辨率不足以可视化视网膜的精细结构。此外，眼睛光学像差的个体差异限制了对视网膜尺寸的定量分析。因此，开发一种具有多种参数的超高速的眼科OCT设备在临床应用中变得至关重要。实现全眼OCT面临许多挑战，第一个挑战来自眼睛的内在屈光能力，这阻碍了光束同时聚焦在角膜和视网膜上。这需要专门的设备，如生物测量仪、眼前节OCT和眼底OCT成像系统来识别眼睛不同的临床特征。另外一个挑战是人们不能长时间保持注视，否则会出现眼动干扰。对于一个100 kHz的眼底OCTA系统，其成像60°视野往往需要数几十秒，而且需要增加眼动追踪光路和图像配准算法，这增加了系统的复杂性。只有将OCT系统的扫描速度增加至MHz，眨眼时间内完成OCT/OCTA成像才有可能。当速度提升至MHz时，又会面临振镜扫描误差加大、激光器重复性降低、成像深度受限等问题。
MILab提出一种兆赫兹多参数的全眼OCT成像系统研究成果形成文章《Megahertz multi-parametric ophthalmic OCT system for whole eye imaging》发表在国际学术期刊 Biomedical Optics Express上。本文介绍了一种采用双向扫描MEMS-VCSEL扫描激光器的超快多参数眼科SS-OCT系统。该系统能够对前眼、后眼进行成像，并测量眼球生物学参数，而无需手动切换光路。本文采用1 MHz的A-scan速度对眼底进行大视野的OCT和OCTA成像，用50 kHz的A-scan速度对眼前节和眼轴长成像。这种方法的优点是在保证轴向分辨率的同时可以通过降低扫频光源的速度去实现更大范围的深度成像。
图1 系统原理图。
本系统所采用的MEMS-VCSEL扫频光源的优点是扫描频率可调。当它在工作模式1时，可以输出500 kHz的双向光谱，其正向扫描光谱和反向扫描光谱都可用于OCT成像。这种双向扫描是周期性的。尽管其双向光谱有着良好的一致性，但是，因为这款扫频光源在正向扫描（长波长到短波长）主要是受静电力驱动，而反向扫描（短波长到长波长）主要是受弹簧力驱动，所以正向扫描和反向扫描具有不同的加速度表现。这种波长扫描的不对称性会导致利于正向扫描光谱和反向扫描光谱得到的OCT信号在数据长度上和色散系数上存在差异。直接将正向光谱和反向光谱分别重建为相邻的两个A-line，最终生成的B-scan图像会出现图像错位的问题。为解决这个问题，本研究提出了光谱校正方法，该方法在硬件上的改动仅仅是在MZI模块中插入两个具有特征反射峰的FBG。然后再通过算法的后处理，就可以从插值时钟信号中提取出FBG反射的特征波长，从而对齐、校准正向和反向扫描光谱。为了验证该方法的可行性，本研究先采用了具有清晰边界特征的1 mm玻璃片进行OCT成像实验。如图2所示，结果表明，随着长度误差δL的增加，相邻A-line图像之间的错位现象会变得更加严重，会出现重影现象，进而影响图像的清晰度乃至轴向分辨率。
图2 光谱校正算法的原理和结果。
扫描振镜工作在双向扫描模式时，随着扫描频率的提高，如达到400 Hz ~ 1000 Hz时，对于同样的输入信号，正向扫描和反向扫描具有不一样的响应表现，这会导致振镜扫描的重复性精度变差，以至于无法呈现出高质量的en face图像。 为了解决这个问题，本研究提出基于位置反馈信号的一种B-scan图像配准方法，只需要对一维信号进行计算，就能够自动矫正振镜扫描误差。如图3所示，本文所提出的振镜扫描误差矫正方法能够有效的解决整个en face图像中由于振镜正向扫描和反向扫描之间的差异性而导致的B-scan无法对齐的问题，为MHz的扫频系统解决了技术瓶颈。
图3 矫正振镜误差算法的仿体实验结果。
图4展示出利用本系统得到的眼前节OCT与眼底OCTA图像。眼前节展示出高清晰度的B-scan图像，从角膜至晶状体都具有良好的色散校正。眼底OCTA的成像视场为60°，等价于16 mm × 16 mm，成像时间是4 s。结果表明，整个视野中的血管表现出良好的对比度和平滑的边界。因此，本系统能够依次实现眼球生物测量、整个眼前节成像以及大视野的眼底OCT/OCTA成像，所以本系统是一套多参数的全眼OCT成像系统。
图4 人眼的前后节成像结果。
论文第一作者为MILab课题组博士生胡毅成，深圳湾实验室的黄智宇副研究员和刘刚军老师为本文的共同通讯作者，其他合作者还包括北京大学任秋实教授、卢闫晔助理教授等。该研究得到了国家自然科学基金（82371112、62394311、62394310）；北京市自然科学基金（Z210008）；深圳市科学技术计划（KQTD20180412181221912）的经费支持。
文章链接：https://opgieeexplore.opticaieee.org/boe/fulltext.cfm?uri=boe-15-5-3000&id=548890document/10510478