CVPR, 2025
领域适应(DA):

  • 目标:DA的目标是在已知的源域和目标域之间进行模型调整,使得模型在目标域上表现更好。通常假设目标域有标签数据(有监督DA)或无标签数据(无监督DA)。
  • 应用场景:DA通常用于离线场景,即在模型部署之前,通过调整模型来适应目标域的分布。例如,在医学图像分割中,源域可能是某个医院的数据,目标域是另一个医院的数据。

测试时适应(TTA):

  • 目标:TTA的目标是在测试阶段,利用无标签的测试数据对预训练模型进行微调,以适应测试数据的分布。TTA假设在测试时可以访问测试数据,但这些数据没有标签。
  • 应用场景:TTA适用于在线场景,即在模型部署后,根据实际测试数据进行动态调整。例如,在医学图像分割中,模型在部署后可能会遇到与训练时不同的图像风格或设备,TTA可以在测试时快速适应这些变化。

📌一、研究背景

  • 问题:在医学图像处理中,预训练模型在实际部署时由于领域偏移,性能会显著下降。现有的测试时适应方法在医学图像分割任务中表现不佳,主要是因为它们忽略了医学图像中固有的形态学先验知识。
  • 目标:提出一种新的测试时领域泛化TTDG框架,通过多图匹配方法,利用形态学先验知识,提高模型在未见数据上的泛化能力。

📌二、研究方法

  1. 多图匹配框架

    • 图的构建:从医学图像中提取特征,并根据分割掩码采样节点,构建图结构。每个图包含节点特征和加权邻接矩阵,用于表示结构信息。
    • 宇宙嵌入(Universe Embeddings):引入可学习的宇宙嵌入,将每个图的节点映射到一个共同的“宇宙”空间中,确保多图匹配的循环一致性(cycle-consistency)。
    • 多图匹配优化:通过高阶投影幂迭代(HiPPI)算法求解宇宙嵌入,优化多图匹配的目标函数,学习领域不变的特征。
  2. 测试时适应(TTA)

    • 在测试阶段,利用预训练的宇宙嵌入作为先验知识,对目标域的图像进行多图匹配。
    • 通过反向传播更新特征提取器和分割头,使模型能够快速适应目标域的分布。

📌三、框架图

📌四、实验

  • 数据集:使用了两个医学图像分割数据集,包括视网膜眼底图像分割和息肉分割数据集,涵盖了多个医疗中心的数据。
  • 对比方法:与多种现有的领域泛化和测试时适应方法进行比较,包括基于熵的方法、基于形状模板的方法、基于批量归一化的方法等。
  • 评估指标:主要使用Dice分数(DSC)作为评估分割准确性的指标,同时使用增强对齐度量(Emax φ)和结构相似性度量(Sα)评估预测与真实标签的一致性。

📌五、实验结果

  • 多源领域泛化:在视网膜眼底分割任务中,所提方法在所有测试场景中均优于其他方法,平均DSC比第二好的方法高出2.88%,比无适应方法高出19.09%。在息肉分割任务中,所提方法的平均DSC比第二好的方法高出2.52%,比无适应方法高出7.89%。
  • 单源领域泛化:在单源领域泛化任务中,所提方法仍然表现最佳,平均DSC比第二好的方法高出1.83%,比无适应方法高出9.77%。

📌六、关键结论

  • 多图匹配的优势:与成对图匹配相比,多图匹配通过循环一致性约束,能够更有效地捕获全局结构信息,避免局部最优解,提高分割精度。
  • 形态学先验的重要性:通过宇宙嵌入将形态学先验知识融入图匹配过程中,显著提高了模型在未见数据上的泛化能力。
  • 测试时适应的有效性:所提出的测试时适应方法能够在不使用目标域标签的情况下,快速适应新的领域分布,有效缓解领域偏移问题。

原文题目:A Chebyshev Confidence Guided Source-Free Domain Adaptation Framework for Medical Image Segmentation 有代码

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐