SRPL-SFDA: SAM-Guided Reliable Pseudo-Labels for Source-Free Domain Adaptation in Medical Image Segm
本文提出SRPL-SFDA方法,解决医学图像分割中的无源源域自适应问题。通过测试时三分支强度增强(T3IE)生成兼容SAM的伪标签,利用多SAM输出一致性(CMSO)筛选可靠区域,并设计可靠性感知训练损失(RPSR)区分监督。在前列腺和胎儿脑MRI数据集上,Dice系数分别提升4.95%和1.69%,接近全监督性能。创新性地利用SAM的零样本能力优化伪标签,无需微调或源域数据,具有模型无关性。未来
投稿至Neurocomputing,但目前处于预印本阶段。
📌 一、研究背景与问题
在医学图像分割领域,模型部署时常面临域偏移问题,即训练数据(源域)与新临床中心数据(目标域)因扫描仪、成像协议等差异导致性能下降。传统无监督域自适应(UDA)需同时访问源域和目标域数据,但临床中源域数据受隐私和带宽限制难以获取,因此无源源域自适应(SFDA) 成为研究热点——它无需源域数据即可将预训练模型适配到目标域。
SFDA 的核心挑战是目标域缺乏标注监督,现有方法存在局限:
- 基于熵最小化的方法(如 TENT)易产生过度自信的错误预测;
- 伪标签驱动方法(如 UPL-SFDA)生成的伪标签因域偏移常不可靠,影响适配效果。
📌二、框架图
该方法由四个关键部分组成:
- a)使用Test-Time三分支强度增强(T3IE)生成目标域伪标签,其中对每个目标域图像应用三种不同的强度变换,以减轻do-main差距并提高原始伪标签的质量。
- b)使用T3IE增强输入对SAM进行伪标签细化,从原始伪标签生成一个框提示符,将来自T3IE的三个增强图像拼接为SAM的兼容输入,以获得高质量的细化伪标签。
- c)可靠伪标签挖掘,提出了输入扰动下多重SAM输出(Multiple SAM ’ s output,
CMSO)与T3IE的一致性(Consistency of Multiple SAM ’ s output, CMSO),
以识别精炼伪标签中的可靠和不可靠区域。 - d)基于可靠性感知伪标签监督和正则化(RPSR)损失的目标do-main伪标签学习。
📌三、核心方法:SRPL-SFDA 框架
本文提出 SAM 引导的可靠伪标签方法(SRPL-SFDA),没有对带有标记的目标域图像的SAM进行微调,而是利用SAM基于提示的推理能力在目标域中获得高质量的伪标签,从而有效地指导源模型在不访问源域图像的情况下适应未标记的目标域。
通过三大核心模块解决上述问题:
1. 测试时三分支强度增强(T3IE)
SAM是为RGB图像设计的。为提升伪标签质量并适配 SAM 输入,设计三种强度变换生成三通道图像:
-
直方图均衡化(红):增强对比度,使强度分布更均匀;
-
域自适应伽马校正(绿):将单幅图像均值对齐到目标域整体均值,减少图像间差异;
uD表示整个目标域数据的平均强度,uX表示图像 X 的平均强度。 -
SAM 兼容伽马校正(蓝):调整强度分布以匹配自然图像统计特性(均值 0.5,标准差 0.29),适配 SAM 训练数据分布。
三通道输出拼接为 RGB 图像,既提升源模型初始伪标签质量,又为 SAM 提供兼容输入。
T3IE 的这些输出分别作为源模型和 SAM 的输入,用于获取初始伪标签和优化后的伪标签。
将其放到源模型中对应的概率输出分别为
Y的argmax公式意思为:取每个像素概率最大的类别作为标签
2. 基于多 SAM 输出一致性(CMSO)的可靠伪标签筛选
- 利用 T3IE 生成的三种增强图像作为输入,通过同一边界框提示获取 SAM 的三个输出;
尽管借助 SAM 的知识提升了优化后伪标签R的质量,但由于以下两方面因素,它本质上仍可能包含噪声。
其一,边界框提示是由初始伪标签Y生成的,而Y的低质量可能会限制提示的准确性,且 SAM 的良好性能高度依赖高质量的提示。
其二,由于医学图像对比度较低,且自然图像与医学图像之间存在域差距,SAM 所执行的推理可能无法始终精准地勾勒出目标边界,尤其是在强度不均匀和边界复杂的区域。直接使用这些含噪声的标签进行训练,会严重限制模型在目标域中的性能。
- 将三者一致的区域标记为可靠区域(Ω_C),不一致区域为不可靠区域(Ω_U),无需手动阈值即可筛选高质量伪标签。
3. 可靠性感知训练(RPSR 损失)
-
可靠区域监督:对 Ω_C 采用部分交叉熵(PCE)和部分 Dice 损失进行强监督;
目标域模型是通过源模型在目标域数据上进行适配训练得到的,即基于初始伪标签和优化后的伪标签逐步调整参数,使模型适应目标域数据分布,最终形成适用于目标域任务的模型。
Q是目标域模型预测的概率图,L_pce和L_pdc分别是定义在可靠区域Omega_C上的部分交叉熵损失和部分 Dice 损失。
q_c,i和r_c,i分别是 Q 和 R 中像素 i 属于类别 c 的概率值 -
不可靠区域正则化:对Ω_U采用熵最小化损失,抑制模糊预测
-
总损失为两者加权和:
注意
:1.其中 λ 平衡权重(实验中最优值为 10.0)。2.目标域模型是以源模型的参数进行初始化的。
📌四、实验验证
1. 数据集
- 前列腺 MRI 数据集:含 5 个中心数据,源域为 A、B 中心,目标域为 D、E、F 中心及癌症患者数据(C 中心);
- 胎儿脑 MRI 数据集:源域为 TrueFISP 序列,目标域为 HASTE 序列。
2. 关键结果
方法 | 前列腺数据集 Dice(%) | 胎儿脑数据集 Dice(%) |
---|---|---|
现有最佳 SFDA(UPL-SFDA) | 77.27 | 92.64 |
SRPL-SFDA | 82.22(+4.95) | 94.33(+1.69) |
目标域全监督(Target only) | 83.02 | 95.53 |
- SRPL-SFDA 显著优于现有 SFDA 方法,性能接近目标域全监督训练;
- 消融实验证明:T3IE 提升伪标签 Dice 达 7.67%,CMSO 和 RPSR 损失进一步提升性能。
📌五、创新点与意义
- SAM 零样本能力适配医学图像:通过 T3IE 缩小医学图像与自然图像差距,无需微调即可利用 SAM 优化伪标签;
- 可靠性感知训练机制:区分可靠/不可靠区域分别监督与正则化,提升模型对噪声伪标签的鲁棒性;
- 模型无关性:不依赖特定网络结构,可适配 U-Net、Transformer 等多种架构。
📌六、局限与未来方向
- 现有方法依赖目标域验证集进行模型选择,实际应用中需解决无验证集场景适配;
- 未来可探索 SAM 特征蒸馏、3D 医学图像扩展(如结合 Ma-SAM)及流式目标域数据的实时适配。
原文题目:A Chebyshev Confidence Guided Source-Free Domain Adaptation Framework for Medical Image Segmentation 有代码
更多推荐
所有评论(0)