Test-Time Domain Generalization via Universe Learning: A Multi-Graph Matching Approach for Medical I
本文提出一种基于多图匹配的测试时领域泛化框架(TTDG),用于解决医学图像分割中的领域偏移问题。该方法通过构建图结构并引入宇宙嵌入实现多图匹配,利用形态学先验知识提升模型泛化能力。在视网膜和息肉分割数据集上的实验表明,该方法在多源和单源领域泛化任务中均优于现有方法,平均DSC最高提升19.09%。关键创新在于将循环一致性约束融入图匹配过程,有效捕获全局结构信息,并在测试时无需目标域标签即可快速适应
·
CVPR, 2025
领域适应(DA):
- 目标:DA的目标是在已知的源域和目标域之间进行模型调整,使得模型在目标域上表现更好。通常假设目标域有标签数据(有监督DA)或无标签数据(无监督DA)。
- 应用场景:DA通常用于离线场景,即在模型部署之前,通过调整模型来适应目标域的分布。例如,在医学图像分割中,源域可能是某个医院的数据,目标域是另一个医院的数据。
测试时适应(TTA):
- 目标:TTA的目标是在测试阶段,利用无标签的测试数据对预训练模型进行微调,以适应测试数据的分布。TTA假设在测试时可以访问测试数据,但这些数据没有标签。
- 应用场景:TTA适用于在线场景,即在模型部署后,根据实际测试数据进行动态调整。例如,在医学图像分割中,模型在部署后可能会遇到与训练时不同的图像风格或设备,TTA可以在测试时快速适应这些变化。
📌一、研究背景
- 问题:在医学图像处理中,预训练模型在实际部署时由于领域偏移,性能会显著下降。现有的测试时适应方法在医学图像分割任务中表现不佳,主要是因为它们忽略了医学图像中固有的形态学先验知识。
- 目标:提出一种新的测试时领域泛化TTDG框架,通过多图匹配方法,利用形态学先验知识,提高模型在未见数据上的泛化能力。
📌二、研究方法
-
多图匹配框架:
- 图的构建:从医学图像中提取特征,并根据分割掩码采样节点,构建图结构。每个图包含节点特征和加权邻接矩阵,用于表示结构信息。
- 宇宙嵌入(Universe Embeddings):引入可学习的宇宙嵌入,将每个图的节点映射到一个共同的“宇宙”空间中,确保多图匹配的循环一致性(cycle-consistency)。
- 多图匹配优化:通过高阶投影幂迭代(HiPPI)算法求解宇宙嵌入,优化多图匹配的目标函数,学习领域不变的特征。
-
测试时适应(TTA):
- 在测试阶段,利用预训练的宇宙嵌入作为先验知识,对目标域的图像进行多图匹配。
- 通过反向传播更新特征提取器和分割头,使模型能够快速适应目标域的分布。
📌三、框架图
📌四、实验
- 数据集:使用了两个医学图像分割数据集,包括视网膜眼底图像分割和息肉分割数据集,涵盖了多个医疗中心的数据。
- 对比方法:与多种现有的领域泛化和测试时适应方法进行比较,包括基于熵的方法、基于形状模板的方法、基于批量归一化的方法等。
- 评估指标:主要使用Dice分数(DSC)作为评估分割准确性的指标,同时使用增强对齐度量(Emax φ)和结构相似性度量(Sα)评估预测与真实标签的一致性。
📌五、实验结果
- 多源领域泛化:在视网膜眼底分割任务中,所提方法在所有测试场景中均优于其他方法,平均DSC比第二好的方法高出2.88%,比无适应方法高出19.09%。在息肉分割任务中,所提方法的平均DSC比第二好的方法高出2.52%,比无适应方法高出7.89%。
- 单源领域泛化:在单源领域泛化任务中,所提方法仍然表现最佳,平均DSC比第二好的方法高出1.83%,比无适应方法高出9.77%。
📌六、关键结论
- 多图匹配的优势:与成对图匹配相比,多图匹配通过循环一致性约束,能够更有效地捕获全局结构信息,避免局部最优解,提高分割精度。
- 形态学先验的重要性:通过宇宙嵌入将形态学先验知识融入图匹配过程中,显著提高了模型在未见数据上的泛化能力。
- 测试时适应的有效性:所提出的测试时适应方法能够在不使用目标域标签的情况下,快速适应新的领域分布,有效缓解领域偏移问题。
原文题目:A Chebyshev Confidence Guided Source-Free Domain Adaptation Framework for Medical Image Segmentation 有代码
更多推荐
所有评论(0)