A Chebyshev Confidence Guided Source-Free Domain Adaptation Framework for Medical Image Segmentation

提出了一种新的评估伪标签可靠性的方法——Chebyshev置信度。设计了两种基于Chebyshev置信度的去噪方法，能够有效去除伪标签中的噪声。引入了教师-学生联合训练方案，通过迭代改进伪标签的质量，提高了模型的适应性。在多种医学图像分割任务中验证了该框架的有效性，证明了其优于现有方法。

热热虎

886人浏览 · 2025-08-01 22:32:47

热热虎 · 2025-08-01 22:32:47 发布

发表在IEEE Journal of Biomedical and Health Informatics, 2024。2025年为中科院二区Top期刊，小类一区

📌一、研究背景与动机

医学图像分割中的域自适应问题：在医学图像分析中，深度神经网络（DNN）在不同临床中心的数据上表现可能会因域偏移而显著下降。例如，一个在某个临床中心训练好的模型，在另一个中心的数据上可能表现不佳。因此，无监督域自适应（UDA）方法被提出，但大多数UDA方法需要访问源域数据，这在实际中可能因隐私和安全问题而不现实。
无源域自适应（SFDA）：SFDA方法不需要访问源域数据，只依赖于预训练的源模型和目标域的未标记数据。这种方法在医学图像分析中具有重要的实际意义，因为它允许临床中心在不共享敏感健康信息的情况下，将模型适应到自己的数据上。
伪标签（PLs）的挑战：伪标签是通过将无标签的目标域数据输入到在带标签的源域数据上训练好的模型中得到的。
因为域偏移需要生成更准确的伪标签。
伪标签通常含有噪声，一种有效的去噪方法至关重要。

真实标签（GroundTruth ）、概率（Probability ）、不确定性映射（Uncertainty map ）、图像（Image ，这里是眼底图像）。源模型的输出存在明显噪声，而适配后的模型预测更准确、不确定性更低。

📌二、框架图

在这里插入图片描述

1. 数据输入与增强

目标域（如医学影像等）数据先进入流程，部分数据会经过 数据增强 处理，分别输入教师分割器和学生分割器。

2. 教师模型与 EMA 更新

教师分割器基于初始参数，对输入数据输出预测结果p_te。
学生分割器的参数通过 指数移动平均 影响教师模型参数更新

3. 教师监督（Teacher Supervision）

伪标签与置信度估计：教师模型输出预测后，经 Chebyshev Confidence Estimation（切比雪夫置信度估计）模块 ，计算预测的置信度，生成 Confidence map ，衡量预测结果的可靠程度。
去噪（Denoising）：依据置信度对伪标签去噪
损失计算：去噪后的伪标签用于计算 交叉熵损失 ，同时结合 Confidence - Guided Weighting ，让教师模型监督更关注高置信度、更可靠的预测，优化教师模型学习方向。
关于这里，为什么只有学生模型p_st指向该模块？其实学生和教师的都需要，只不过根据这个模块的详细讲解中，p_st是关键输入，除了这个还有教师与学生的伪标签作为输入，得到权重结果w

4. 学生模型（Student Segmentor）训练流程

学生分割器对输入数据输出预测，同样经过 Chebyshev Confidence Estimation 生成置信度图，再去噪后计算交叉熵损失CE
为什么这个Denoising模块会有两个箭头指向它？我认为是去噪有两种方式，而第二种基于类别信息是需要原始伪标签的，所以需要未经过置信度模块的原始伪标签也参与
额外引入 Diversity Loss（多样性损失） ：避免模型对某些预测过度自信，让输出更均衡、多样，提升泛化能力。

5. 辅助模块补充（右侧子图）

Chebyshev Confidence Estimation：可视化置信度计算逻辑，输入预测和不确定性数据，通过概率估计（Probability Estimation ）与阈值（Threshold ）判断，生成伪标签置信度图
Denoising Methods：展示去噪两种思路，一是 Thresholding（阈值法） ，二是 Prototype Estimation（原型估计）

📌三、研究方法

1. Chebyshev置信度估计

核心目的：量化伪标签的可靠性
核心思想：通过计算预测概率的下界来评估模型对伪标签的置信度，同时考虑了预测的不确定性。概率下界指的是模型预测与伪标签（PLs）一致性的最低概率估计
具体实现：给定输入图像的预测概率p和不确定性sigma ，通过Chebyshev不等式计算模型预测与伪标签一致的概率下界，数值越高说明伪标签的可靠性越强。
具体公式为：

其中，T是生成二值伪标签的概率阈值。该置信度可以扩展到多分类任务中。
步骤：通过 Dropout 生成多个预测样本，计算预测概率 Z 的均值 p 和不确定性 σ；基于 p 和阈值 T 生成伪标签；再利用切比雪夫不等式近似评估伪标签的可靠性，为后续去噪和模型训练提供依据。其中，σ 量化了预测的 “不可靠程度”，而切比雪夫不等式则将 p 和 σ 与伪标签的置信度关联起来，是后续方法的理论基础。

2. 基于Chebyshev置信度的去噪方法

直接去噪：例用像素信息，通过设置置信度阈值，去除置信度低于该阈值的像素点。随着适应过程的进行，阈值从0.99线性降低到0.95。
原型去噪：利用类别信息来识别和剔除不符合该类别典型特征的伪标签，评估伪标签与对应类别原型之间的一致性，可以识别出不可靠的伪标签。例如，如果某个像素被标记为 “血管”，但它的特征与已知的血管原型差异较大，则可能被视为噪声并剔除。

简单地对所有伪标签取平均值无法得到准确的原型，因为并非所有伪标签都是可靠的。于是提出了一种基于切比雪夫置信度的新型置信加权原型估计方法。第k类的原型计算如下：

计算公式中分子为 “小批量像素集中属于第k类的像素特征e_v与该像素切比雪夫置信度l_v的乘积之和”，分母为 “同类像素的切比雪夫置信度之和”。
使高置信度（可靠）的像素在原型计算中占比更高，低置信度（不可靠）的像素权重被削弱，从而减少异常值对原型估计的干扰，提升原型准确性。
去噪举例
基于与原型的距离，原型伪标签计算公式为：

伪标签一致性校验来进一步优化去噪掩码

【原始伪标签是模型对像素v的初步预测结果。原型伪标签是通过像素特征与类别原型的距离计算得到的标签，公式7及之前的步骤都是获得原型伪标签的过程，它是基于特征相似性的标签，用于校验原始伪标签的可靠性。】

3. 教师-学生联合训练方案（TJTS）

目前大多数方法是教师模型（T）负责生成伪标签（PLs），以指导学生模型（S）的训练。教师模型和学生模型均使用在源域中训练得到的权重进行初始化，且在适配过程中教师模型的权重保持固定。

核心思想：引入教师-学生联合训练方案，将两个模型生成的伪标签结合起来用于自训练。并利用Chebyshev置信度对伪标签进行加权过滤掉不良知识，以提高伪标签的质量。支持学生模型与教师模型之间的知识持续传递与更新。
具体实现：教师模型和学生模型分别生成伪标签，然后通过置信度加权的方式结合这些伪标签进行训练。同时，使用指数移动平均（EMA）方法逐步更新教师模型的参数。
1.教师监督损失：

2.学生监督损失

3.计算教师监督的权重

超参数用于调节置信度对权重的影响程度：gamma越大，置信度差异对权重的区分作用越显著；越小，权重分配越平缓。
则学生监督权重为

4.最终损失为

5 . 引入去噪掩码，得到最终的交叉熵损失：

去噪掩码m通过之前第二步的预设条件（伪标签一致性校验、置信度阈值筛选）对每个像素的伪标签进行可靠性判断：当伪标签满足可靠性条件时，掩码取值为 1，保留该伪标签参与损失计算；当伪标签不可靠时，掩码取值为 0，将其从损失计算中排除。

6.持续优化教师模型EMA

其中，beta是平滑因子，用于控制参数的变化程度。此外框架为学生模型引入了增强数据输入，以提升泛化能力。

4. 多样性损失

核心思想：为防止过度自信，引入多样性损失项，以促进模型输出更加平衡和多样化的预测。
具体实现：多样性损失项定义为：

其中，p_k是目标域中类别k的平均预测概率。
整体训练损失：

📌四、实验与结果

1. 数据集

视网膜眼底图像分割：使用REFUGE挑战赛的数据作为源域，RIM-ONE-r3和Drishti-GS数据集作为目标域。
脑肿瘤分割：使用BraTS2020数据集，进行跨模态分割任务，例如FLAIR↔T2和T1↔T1ce。

2. 实验结果

视网膜眼底图像分割：在RIM-ONE-r3和Drishti-GS数据集上，本文方法在Dice系数和平均表面距离（ASD）两个指标上均优于其他最新方法。例如，在RIM-ONE-r3数据集上，Dice系数提高了3.84%，ASD降低了3.74%。
脑肿瘤分割：在所有跨模态分割场景中，本文方法均取得了最高的Dice值，并且在大多数情况下ASD值也是最低的。平均而言，与源模型相比，Dice值提高了8.47%，ASD降低了5.32%。