近期，MILab 在生物医学图像分析领域取得重要进展，相关论文"WeakMitoSAM: competitive prompt aggregation for point-supervised mitochondria segmentation in electron microscopy images"已被生物医学光学领域权威期刊 Biomedical Optics Express（BOE）在线发表。

一、研究背景：线粒体分割的标注瓶颈

        线粒体是细胞内至关重要的亚细胞器，其形态结构与细胞能量代谢、凋亡调控等核心生命过程密切相关。对线粒体形态进行精确的定量分析，对于揭示多种疾病的发病机制具有重要意义。电子显微镜（electron microscopy, EM）成像是在纳米尺度下观察线粒体超微结构的核心手段，而自动化的图像分割技术则是实现大规模线粒体形态功能分析的关键。然而，现有的全监督深度学习分割方法高度依赖密集的像素级标注（Dense Annotation），每张图像平均需耗费约 230 秒进行人工标注。这一过程不仅耗时耗力，还因线粒体直径接近光学衍射极限（约 200 nm），导致专家间标注一致性差异显著，构成了大规模应用的严重瓶颈。与此同时，现有弱监督方法大多面向密集排列的细胞实例（如细胞核）设计，难以有效适应电子显微镜图像中线粒体稀疏分布、形态多变的特点，在生成高质量伪标签时表现欠佳。

二、研究思路：以点代面，以少胜多

【图1：标注成本与伪标签质量对比图】左图展示了从密集标注到点标注的转变，使标注时间缩短了 93%（从每幅图 230 秒降至 16 秒）；右图展示了 CAMP 策略生成的伪标签在实例分离和边界一致性上优于现有方法。


针对上述挑战，本文提出了一种全新的弱监督线粒体分割框架 WeakMitoSAM，核心思想是：仅利用稀疏的点标注（每个线粒体实例仅需标记一个像素点），在不依赖任何密集标注的情况下，实现与全监督方法相当甚至更优的分割性能。点标注相比像素级标注可将标注时间压缩至约 16 秒（降低约 93%），极大地降低了数据准备门槛，为实际应用场景的大规模部署奠定了基础。

三、 核心方法

【图2：方法整体框架图】 上半部分展示 CAMP 策略的工作流程：多个点提示经过冻结 SAM 独立推理后，通过 BAS 机制进行竞争聚合，输出高保真伪标签；下半部分展示 LoRA 增强的 SAM 微调架构，伪标签作为监督信号驱动模型进行参数高效微调。


WeakMitoSAM 由两个协同模块构成，如图2所示：

1.多提示竞争聚合策略（CAMP）

现有方法在利用视觉基础模型 SAM（Segment Anything Model）处理多实例稀疏提示时，常出现预测重叠与边界模糊的语义歧义问题。为此，本文提出 CAMP（Competitive Aggregation of Multiple Prompts）策略：

    • 针对图像中每个线粒体实例，独立向冻结的 SAM 模型输入点提示，得到各实例的预测 logit 图；

    • 引入偏置增强 Softmax（Bias-augmented Softmax, BAS）机制，将所有实例的预测图与一个代表背景置信度阈值的偏置张量共同进行通道维度竞争归一化；

    • 通过像素级竞争机制，将每个像素归属于置信度最高的实例，同时抑制低置信区域的误检，最终生成高保真度的伪标签。

这一设计将 SAM 的多个不完美预测视为竞争性互补候选，而非独立的最终标签，有效克服了稠密场景下点提示的语义歧义问题。

2.提示增强 SAM 微调（Prompt-enhanced SAM with LoRA）

以 CAMP 生成的伪标签为监督信号，对 SAM 进行高效领域自适应微调：

    • 在 SAM 图像编码器的自注意力层注入低秩适应（LoRA）模块，仅训练少量参数（约 21.55M 可训练参数，占总参数量 653.17M 的约 3.3%）；

    • 使模型在不进行全参数微调的前提下，精准学习线粒体超微结构的低对比度纹理与形态特征；

    • 提示编码器和掩码解码器也参与微调，确保模型端到端优化。

四、实验结果

【表1：各方法定量分割结果对比表】 表格汇总了零样本、全监督、弱监督三种设置下各方法在三个数据集上的 IoU、Dice 和 PQ 指标，WeakMitoSAM（红色加粗）在弱监督和全监督设置下均取得最优结果。

本文在三个权威公开电镜线粒体分割数据集（Lucchi++、MitoEM-H、MitoEM-R）上进行了全面评测，评估指标涵盖像素级（IoU、Dice）与实例级（Panoptic Quality, PQ）两类。主要结论如下：

主要定量结果（见表1）

  • 弱监督设置下，WeakMitoSAM 平均 IoU 达 82.95%，远超同类点监督方法（PseudoEdgeNet 37.71%、SAC-Net 54.63%）；

  • 弱监督设置下，实例级分割指标 PQ 达 66.67%，甚至超过部分全监督方法（如 MitoSegNet 全监督下 PQ 为 64.85%）；

  • 全监督设置下，WeakMitoSAM 以 88.67% / 93.49% / 75.90%（IoU / Dice / PQ）创造新的最优性能，相比代表性全监督方法 MitoSegNet 和 MoDL，平均 IoU 提升超过 4%。


【图3：弱监督分割方法可视化结果对比】 图示说明：各方法在 Lucchi++、MitoEM-H、MitoEM-R 三个数据集上的分割可视化结果，绿色、蓝色、红色分别表示真阳性（TP）、假阴性（FN）和假阳性（FP）预测区域，WeakMitoSAM 在全监督和弱监督设置下均能更准确地分割线粒体实例并保持清晰边界。

五、研究价值与意义

本研究的核心贡献在于：

  1. 极大降低标注成本：将专业标注时间压缩 93%，为大规模电镜数据集的分析提供了切实可行的低成本解决方案；

  2. 弱监督逼近全监督：在稀疏点监督下实现了与全监督方法相当甚至更优的分割性能，打破了传统认知中弱监督与全监督之间的显著性能鸿沟；

  3. 强泛化能力：跨数据集、跨物种的泛化实验表明，WeakMitoSAM 能有效学习线粒体领域不变的表征，具备实际大规模部署潜力；

  4. 通用伪标签框架：CAMP 策略不绑定特定分割骨干，可作为通用的弱监督伪标签生成方案，赋能更广泛的生物医学图像分析任务。

该论文第一作者为 MILab 硕士生李远威，通讯作者为卢闫晔助理教授与MILab博士后朱磊。该研究得到国家自然科学基金（62501020）、首都卫生发展科研专项（2026-1-2151）、北京大学肿瘤医院科学基金（(JC202505）、国家重点研发计划（2025YFA1805700）、博士后创新人才支持计划（BX20250368）等项目的资助支持。
论文链接：https://doi.org/10.1364/BOE.592074

相关代码已开源：https://github.com/WilliamLee30/WeakMitoSAM






  • 无标签
写评论...