原文链接:https://doi.org/10.1109/tpami.2025.3527469

author={Ke Sun and Zhongxi Chen and Xianming Lin and Xiaoshuai Sun and Hong Liu and Rongrong Ji}

摘要

伪装目标检测(COD)是计算机视觉领域的一项重大挑战,在实际应用中起着至关重要的作用。现有的COD方法在用高置信度预测准确预测细微差别的边界方面经常面临挑战。在这项工作中,我们介绍了一种新的学习方法CamoDiffulation,它使用条件扩散模型来生成掩模,逐步细化伪装对象的边界。特别是,我们首先设计了一种自适应变压器条件网络,专门设计用于集成到去噪网络中,这有助于迭代细化显著掩码。其次,在经典扩散模型训练的基础上,我们研究了方差噪声调度和结构破坏策略,旨在通过有效地处理不确定输入来提高去噪模型的精度。第三,我们引入了一致时间集成技术,该技术使用抽样机制整合中间预测,从而减少过度自信和错误预测。最后,我们在三个基准数据集上进行了大量的实验,结果表明:1)在伪装目标检测任务和显著目标检测任务中,我们的方法都表现出了有效性和通用性。2)与现有的最先进的方法相比,CamoDiffsion表现出了优越的性能3)CamoDiffsion提供了灵活的增强,例如基于VQ-VAE模型的加速版本和跳过方法。

一、INTRODUCTION

        伪装在自然界中是一种关键的生存机制,使有机体能够融入到他们的环境中,以躲避捕食者并悄悄接近猎物。伪装物体检测(COD)的研究因此成为人工智能的一个重要研究领域[1]、[2],其应用范围从生物多样性保护[3]、医学图像诊断[4]到制造缺陷检测[5]。

        在过去的几年里,COD领域取得了重大进展,在这一研究领域引入了许多具有代表性的方法。然而,如图1所示,最近的代表性方法,如Snet-V2[1]和ZoomNet[6],在处理复杂伪装对象时面临两个挑战。首先是目标物体和它们的背景之间模糊的边界[2],由于伪装的本质是物体与周围环境无缝融合,准确地划定边界变得非常复杂。伪装物体所表现出的微妙的视觉线索和复杂的图案使得现有的方法很难准确地将物体与其背景区分开来,导致边界模糊和不精确。第二个限制是过度自信的预测问题[7]。由于COD[8]中常用的中心偏向数据集,模型经常将非伪装区域错误分类为伪装对象,导致过度自信的预测,从而导致错误阳性并降低整体精度。这些挑战并不是COD独有的,而且也存在于突出对象检测(SOD)中,其目标是在图像中检测视觉上不同的对象。这两项任务都需要有效的边界检测和特征区分,因为CoD中的伪装对象和SoD中的显著对象通常需要细微的上下文理解才能适当地分割[9]、[10]。

        考虑到COD和SOD带来的这些特定挑战,我们采用扩散模型范式[11]作为合适的解决方案。扩散模型具有令人印象深刻的生成能力,并且对条件有很好的认识。它们的迭代降噪机制消除了对主流模型中复杂的精细化模块的需求。这一机制允许在边界细微差别和上下文环境之间进行渐进式区分,从而培养更全面的理解。固有的随机抽样过程能够生成多个预测并评估分段不确定性,这降低了模型结果中错误置信度的风险。

        

图1.COD和SOD任务不同方法的可视化结果。蓝色框表示对象的边界-上下文区分,红色框表示过度自信的错误分割,其中方法错误地分割图像的部分并具有很高的确定性。我们的方法有效地解决了这些问题,减少了误分割的情况,并提高了边界上下文区分的清晰度。

        本文提出了一种新的方法,称为Camo扩散,它通过条件扩散模型的透镜来处理COD任务。通过在伪装图像的条件上下文下对噪声贴图进行渐进式去噪来生成掩码,实现了一种有效和准确的COD方法,主要创新如下:

        首先,基于DDPM的基本原理,我们提出了一种新的基于UNT的去噪网络,旨在通过迭代的条件去噪过程来细化显著掩模。为了获得良好的视觉背景条件,我们设计了一种新的自适应变换条件网络(ATCN),该网络建立在金字塔视觉变换的基础上,并设计了一种新的定向引导机制,目的是有效地捕捉伪装对象的细微细节和边界。

        直接采用标准扩散模型训练过程会导致绩效下降。为了克服这一点,我们在训练过程中提出了以下两种技术:1)我们证明了基于信噪比的方差噪声调度在COD任务中效果良好:应该调整噪声调度以生成高分辨率伪装掩模。

2)我们引入了一种结构破坏策略,使模型暴露在受污染的对象轮廓中,帮助模型在结构级别学习去噪,并提高其纠正早期预测中的偏差的能力。

3)由于CamoDiffsion通过迭代去噪来生成显著掩码,我们观察到由于过度自信问题,所生成的掩码显示出不正确的中间预测结果。为了克服这一问题,并鼓励生成正确的最终生成的掩码,我们提出了一种共识时间集成(CTE)采样技术。CTE充分利用去噪过程中产生的有价值的预测信息,并通过新设计的投票机制将它们整合在一起。

        实验表明,该方法较以往的方法有了明显的改进,突出了其通用性和稳健性。我们的主要贡献总结如下:

1)我们通过一个用于掩码预测的条件扩散框架来处理COD和SOD任务。

2)引入了一种特殊设计的网络结构和学习策略。

3)我们的方法在三个COD数据集和三个SOD数据集上取得了最好的性能。

        这项工作是我们在[13]中以前工作的扩展。六个新的贡献包括:(1)我们提出了一个新的加速版本的方法,并进行了讨论和实验分析;(2)我们对SOD任务进行了额外的定量和定性实验以进一步验证我们的方法;(3)我们对我们的方法中使用的训练和采样过程进行了详细的描述;(4)我们包括了在我们的框架中使用的结构腐败和CTE模块的描述和可视化;(5)我们执行了广泛的消融研究来研究我们所提出的方法的有效性;(6)对主干、采样技术、结构破坏和噪声调度组件进行了深入分析。

二、METHOD

图2CamoDiffusion的总体框架,包括一个自适应变压器条件网络(ATCN)和一个去噪网络(DN)。在训练中,(GT)X0经历结构破坏和高斯噪声,以生成时间t处的带噪掩码XT。随后,我们的模型预测去噪掩码ˆX0,并被训练以最小化预测和GT之间的损失。在采样过程中,我们的模型对T步的随机噪声XT进行了去噪。在反向过程中生成的所有预测{PT}T t=1由共识时间集合(CTE)聚合,从而产生更可靠的结果PEMB。

        如图2所示,在DDPM框架的基础上,Camo扩散迭代地对噪声映射进行去噪,以生成编码掩码,条件是由所提出的条件网络提取的特征。

        训练过程从初始化AdaptiveTransformer条件网络(ATCN)和去噪网络(DN)开始。在训练过程中,成批的输入图像和GT掩码经历结构破坏以增强边界复杂性,然后使用基于SNR的方差调度进行噪声添加。ATCN利用零重叠嵌入(ZOE)和时间令牌级联(TTC)模块,从图像和噪声掩模中提取多尺度特征。然后将这些功能传递给DN,由其逐步改进掩码,从而提高每一步的边界精度。

        我们首先在第II-A节中解释背景和符号。然后,我们在第二-B部分深入研究新设计的神经网络。最后,第II-C节和第II-D节分别详细介绍了我们独特的培训和抽样策略。

A. Background and Notation

        我们的Camo扩散是基于典型的条件扩散模型[11],它包括一个正向过程和一个反向过程,在这个过程中,掩模逐渐地被噪声干扰,而在反向过程中,噪声被转换回目标分布。

        给定训练样本X0∼Q(X0),其中X0表示伪装对象的地面真实掩模,根据以下马尔可夫过程获得噪声版本{Xt}Tt=1:

其中t从1运行到T,并且方差由噪声调度βt∈(0,1)控制。XT的边际分布可以描述为:

        从p(Xt)=N(xt;0,i)开始,反向过程使用神经网络fθ来创建一系列增量去噪操作以获得回干净的掩模。该网络按如下方式学习反向分布:

        虽然直接建模Xt−1是可能的,但遵循[11]的方法,我们发现为网络保持一致的输出空间可以提高性能。

        为此,我们选择学习网络fθ(Xt,i,t)来预测去噪掩码ˆX0,条件是图像I。在实践中,Σθ(Xt,t)被设置为可以表示如下:

这里,ˆX0由fθ(xt,i,t)预测,它由新的ATCN和DN组成,如下节所述。然后,我们学习具有以下损失函数的模型fθ:

其中分别表示加权交叉点并(IOU)损失和加权二进制交叉熵(BCE)损失。

B. Architecture Design

图3.我们的伪装扩散的体系结构设计,包括用于多尺度特征提取的ATCN和用于从噪声输入生成精确掩码预测的ADN。符号“*”表示通过我们的零重叠嵌入(ZOE)技术对PVT层进行的修改。符号‘C’表示级联运算,后跟1×1卷积以对齐通道尺寸。

        我们的模型不同于传统的分割方法,它利用条件扩散模型来生成预测。图3显示了我们设计的网络的管道。我们利用ATCN来捕获分层图像特征作为条件,这些特征随后被合并到DN中。这些网络的设计细节将在后续各节中详细介绍。

        1)自适应变压器条件网络(ATCN):我们的ATCN的主要目标是从COD任务中提取丰富的视觉信息,并识别伪装目标和背景之间最具区分性的特征。为了实现这一点,我们采用了金字塔视觉转换器V2(PVT)[14]作为我们的基础架构,它能够实现多尺度特征提取。然而,目标的伪装特性大大增加了区分图像特征的提取的复杂性,这可能会对结果产生不利影响。

        为了应对这一挑战,我们提出了零重叠嵌入(ZOE)模块,该模块集成了早期步骤中粗略预测的掩码作为方向提示,将网络的注意力集中在特定区域。这一策略揭示了伪装对象的详细形状和边缘,增强了网络提取区分特征的能力。

        此外,为了提高特征在整个去噪阶段的适应性,我们引入了时间令牌连接(TTC)模块,它将去噪步骤t中的变量合并到条件网络中。这使得网络能够基于当前的去噪步骤动态地调整其特征提取,从而产生更有效和定制的特征表示。

        ATCN的框架如图3(A)所示,ZOE和TTC模块的详细描述如下:

        ZOE模块:为了在保持原始变压器结构和预训练参数的同时将噪声掩模XT集成到PVT中,我们在ATCN的第一层引入了零重叠嵌入(ZOE),取代了传统的重叠嵌入(OE)。Zoe使用了一个额外的卷积层,用零初始化,将XT巧妙地融入网络中。

        该方法确保位置编码在初始化期间不受影响,允许在不修改基本变压器架构的情况下控制噪声掩码的合并。

        第i层的Zoe的数学表示由下式给出:

        

        其中,Conv(·)表示原始卷积运算,Convz(·)表示权重和偏置都被初始化为零的卷积运算,R(·)是将卷积产生的特征地图转换成令牌的函数,LN(·)表示层归一化[15]。

        TTC模块:除了处理噪声掩模外,我们的ATCN还可以根据时间阶段自动调整条件的特征。因此,我们按如下方式介绍TTC模块:

        

        其中t表示时间令牌,[·;·]表示连接操作,R−1是将令牌转换回特征映射的逆过程,MHA代表多头自我注意,FFN是前馈神经网络。这些改进使我们的方法有别于传统的扩散模型,在以前的研究中,传统的扩散模型只依赖于图像输入,在反向过程中重复使用相同的图像特征。

        2)去噪网络:如图3(B)所示,去噪网络被设计为根据扩散模型生成去噪掩码预测xˆ0和xT−1。编码器Enc(·)和解码器Dec(·)共同工作以从XT提取详细信息,并使用以下等式根据特征映射Z1进行有条件的预测:

        

        其中Enc(·)和Dec(·)主要由几个卷积块组成。这里,Enc(·)便于通过步长卷积进行下采样,而Dec(·)使用PixelShuffle[18]进行上采样。

        去噪网络使用自适应组归一化(AdaGN)对时间变量t进行积分[19]。具体地,AdaGN(h,y)=ysGroupNorm(H)+yb,其中h表示卷积层内的中间激活,并且ys,yb从嵌入时间的线性投影中导出。我们的方法不依赖于复杂的、分层细化的解码器,而是通过简单的结构产生令人满意的结果,得益于扩散模型的迭代去噪过程。

        具体地说,通过局部加重(LE)模块[20]将特征集{Fi}4i=1升级到统一大小:

        

        其中,UP(·)是双线性内插,CR(·)表示卷积运算,然后是REU激活。这些功能将按如下方式逐步聚合:

        

其中Z4=LE(F4)。最终,在条件Z1和时间步长t的指导下,使用紧凑的编码器和解码器来对XT进行去噪。

C. Training Strategy

        在训练过程中,我们开始了从地面真实(GT)掩码到噪声掩码的扩散过程,这有助于训练我们的条件去噪网络来近似逆转这一过程。尽管训练有效,但我们面临着具体的挑战:从低信噪比(SNR)的mask中恢复清晰的mask。此外,该模型还面临着一个额外的挑战,即它在精确提取伪装对象轮廓方面的有限能力。为了克服这个问题,我们引入了一种结构腐败策略,该策略帮助模型在结构级别学习去噪。算法1详细介绍了整个训练算法。

        基于信噪比的方差调度:一方面,前人的工作[17]表明,训练阶段的掩码具有过高的信噪比,这给模型从低信噪比输入中恢复掩码带来了挑战。另一方面,由于其复杂的背景和较高的分辨率,COD构成了挑战,在培训过程中往往会提出更简单的案例。因此,我们在训练方法中使用了基于SNR的方差噪声调度[21]。

        我们通过引入偏移量来使用对数标度上的方差调度:SNRShift(T)=EXP(对数SNR(T)+Shift),其中SNR(T)=αt/(1−αt)[22]。该策略涉及故意降低输入掩码的SNR。通过进行这一经过计算的调整,我们的目标是增加训练过程的难度。这鼓励该模型对特征进行更彻底的探索,并更有效地适应COD任务带来的不同挑战。

        结构损坏:传统扩散模型应用像素级别的损坏方案[11]、[23]、[24]来直接从GT掩模创建噪声掩模,这可能导致模型错误地依赖于噪声掩模的恢复轮廓,从而限制其修正能力。区分伪装物体边界的挑战往往会导致模型的初始分割预测出现严重的不准确。因此,我们在扩散过程中引入了一种新的结构腐败。这种技术包括故意改变GT的轮廓,方法是随机移除部分轮廓,然后应用高斯噪声。

        结构破坏过程详细如下:它从识别遮罩内的轮廓顶点开始。后续步骤包括随机删除一些顶点,然后通过随机移动替换剩余的顶点。为了进一步修改掩码,应用随机膨胀和侵蚀,直到并集交点(IOU)降低到预定的目标水平。

        具体地说,我们首先识别轮廓顶点并应用区域采样来以0.1%的速率去除连续的顶点。然后以0.1的速率对其余顶点进行随机采样。然后,幸存的顶点将根据它们到遮罩中心的距离进行置换,并具有较小的随机移动速率。最后,我们应用随机膨胀和侵蚀操作来进一步改变掩码结构,直到达到目标IOU(在0.8到1.0之间随机选择)。这一多步骤的过程确保了在保持其整体形状的同时全面修改掩模的结构,挑战了模型学习稳健的边界检测。

        这种方法增强了模型对早期预测中的偏差进行调整的能力,考虑到伪装物体的边界轮廓往往不清楚,这是至关重要的一步。在我们的实验中,每个掩码的目标IOU被随机选择在0.8到1.0之间。图4显示了经过结构破坏后的mask的例子。

图4.结构损坏后的掩模示例。

D. Inference With CTE Sampling

        在推断过程中,去噪模型采用从标准正态分布中提取的样本XT,并在T个步骤上应用增量去噪来生成最终的分割掩模。这种迭代去噪过程稳定地减小了预测掩模和地面真实之间的差异,最终得到了更精确的结果。

        在我们的CamoDiffsion中,我们还专注于缓解过度自信的预测导致错误的预测掩码的问题(如图1所示)。因此,基于去噪过程中产生的预测携带有价值的信息这一概念,我们引入了共识时间集成(CTE)方法。

        CTE有效地组合了来自不同采样步骤的预测,而不需要额外的计算。对于时间t处的每个采样阶段,去噪图像ˆX0被表示为Pt。根据多个预测{Ptt}Tt=1,首先使用自适应阈值生成二进制掩码{Pbt}Tt=1。这些二元预测{Pbt}Tt=1通过对每个像素的位置进行投票来共同促成候选掩码的形成。分配给每个选定像素的概率值作为所有预测的平均值计算如下:

        此外,我们的CTE能够通过从掩码分布中采样来产生多个预测。这一能力使我们能够使用集成方法提高掩模的精度,或者通过计算方差来测量不确定度,如图5所示。

图5.我们的CTE战略示例。从不同预测的像素方向的方差中获得方差图,然后将其归一化到0-1的范围。

        实际上,我们对模板进行三次采样,并利用CTE策略来合并这些3T预测,从而利用多个推理的力量来精炼最终的模板结果。算法2中详细介绍了抽样策略。整个过程的伪代码在附录中提供,可在网上获得。

E. Acceleration Strategy

        ATCN-Skip:我们的伪装扩散方法使用ATCN作为条件分量,从输入图像中提取伪装区域的粗略轮廓。然后,通过一个多步骤的扩散过程来细化这个初始轮廓,这有助于解决边界不精确和预测过于自信等问题。以前,在每个扩散步骤中,图像I和潜在表示XT都被输入到ATCN以计算用于细化的条件。

图6.我们的ATCN-Skip策略的流水线,其中ATCN计算每隔一个时间步被跳过以减少计算冗余。

        我们认为,在每一步都进行相同的ATCN推理是多余的,因为在初始步骤中可以充分实现粗略的局部化,而后续的细化主要由扩散网络(DN)来处理。因此,我们提出了一种称为ATCN-Skip的跳过策略。如图6所示,我们不是在每个扩散步骤重新计算Z1,而是重新使用前一步的Z1输出。具体地说,我们在交替的步骤中跳过ATCN计算,即,我们将前一步的ATCN输出用于当前步骤,从而有效地将ATCN所需的计算量减半。这不仅减少了总体采样时间,而且保持了具有竞争力的性能,因为特征映射在连续的步骤之间不会有明显的变化。完整的过程如附图所示,其中每隔一步跳过atcn计算,并且步骤t−1的Z1输出被重复用于步骤t。

        这种ATCN-Skip策略大大减少了推理过程中的计算量,因为它避免了ATCN中的冗余计算,同时保持了基于扩散的求精的有效性。通过采用这种跳过的方法,我们为用户提供了精度和效率之间的灵活平衡,使CamoDiffsion模型更适合不同的场景和需求。

        与VAE集成:受[12]、[25]启发,我们改进了我们的模型以在潜在空间内运行,以提高效率。鉴于高分辨率分割模板的二值化特性,我们利用矢量量化变分自动编码器(VQ-VAE)将这些模板图像转换为一系列离散的潜在变量。

        首先,将高分辨率二进制掩码xt通过编码器函数E以获得较低维的潜在表示zt。编码器功能E被设计成在减小其空间维度的同时捕获存在于二进制掩码中的基本特征和图案。其次,潜在空间中的扩散过程遵循与第II-A节中描述的相同的原则,但操作在较低维度的潜在表示上,而不是原始的高分辨率掩模。第三,在潜在空间中执行扩散过程可以显著降低与直接处理高分辨率掩模相关的计算负担和内存需求。

        在扩散过程完成之后,获得最终的去噪潜在表示zt−1。这种去噪的潜在表征以紧凑的形式捕捉到了面具的基本特征和细节。为了从去噪的潜在表示重建高分辨率二值掩码,我们使用解码器函数D将潜在表示映射回原始的高分辨率掩码。

        这种方法使我们能够利用在潜在空间中操作的计算效率和降低的复杂性,以及将复杂的扩散过程直接应用于潜在表示。通过在扩散前将掩码编码为潜在表示,并仅在最后一步将其解码回来,我们最大限度地减少了细节损失,并提高了重建掩码的整体保真度。

三、EXPERIMENTS

        1)数据集:我们在三个广泛使用的COD数据集上进行了实验:CAMO[42]、COD10K[1]和NC4K[32]。迷彩数据集包括1,250张伪装图像和1,250张非伪装图像。COD10K包含5,066张伪装图像、3,000张背景图像和1,934张非伪装图像。NC4K是由4,121幅图像组成的大规模COD数据集,常被用来评价模型的泛化能力。除了COD数据集,我们还在显著目标检测(SOD)数据集上进行了扩展实验。在这些实验中,我们使用了常用的基准数据集,包括包含5,168幅图像的DUT-OMRON[43],包含5,019幅图像的DUTS-TE[44],以及包含4,447幅图像的HKU-IS[45]。

        2)评价指标:在我们的实验中,我们采用了四个常用的指标:平均绝对误差(MAE)[46]量化归一化预测地图与地面真实之间的平均绝对误差。S-MEASURE(Sα)[47]评估了预测地图和地面真实地图之间的结构相似性,同时考虑了对象感知和区域感知特征。加权F-MEASURE(Fωβ)[48]提供了对准确率和召回率的综合评估,有效地衡量了预测地图的准确性。均值E-测量(E-φ)[49]基于人的视觉感知,并提供对伪装目标检测结果的整体和局部准确性的评估。

        3)实现细节:使用NVIDIA A100图形处理器在PyTorch平台上进行所有实验。ATCN使用PVTv2-B4进行初始化,处理大小调整为384×384的图像。我们应用AdamW[50]作为优化器,将批处理大小设置为32。学习率遵循余弦调整策略,从170个纪元的0.001开始。考虑到我们的抽样方法的内在变异性,使用不同的种子执行三次评估,并报告度量平均值。CamoDiffulation-E是一种扩展,它使用CTE策略进行三重推理传递,以提高可靠性。标准设置使用T=10进行采样过程。

定量和定性评价

表1我们的方法和其他最新方法在三个COD基准数据集上的量化结果

1)COD任务评估:表I详细说明了我们的模型的量化成果,并将其与三个COD基准数据集上的14个竞争条目进行了对比。我们提出了我们的方法的三个版本:Camo扩散-VAE、Camo扩散和Camo扩散-E。CamoDiffulation-VAE使用VQ-VAE来加速该过程,并降低计算复杂性,如第II-E节所述。CamoDiffulation-E代表使用CTE策略的推理阶段。值得注意的是,我们的所有三个版本的模型都实现了最先进的性能,甚至轻量级的CamoDiffumation-VAE也是如此。

具体地说,与其他方法相比,我们的模型显著降低了20.9%的MAE误差,放大了7.7%的FWβ得分,超过了第二好的方法,即FSPNet[38]。这种无与伦比的性能的本质在于扩散模型固有的迭代去噪能力,这一点通过我们的CTE策略的应用得到了进一步的完善。我们的模型在其对应的扩散模型中是独一无二的,它引入了特定的增强,精心设计以满足COD学科的复杂需求。

图7.在COD任务中典型和具有挑战性的条件下与最近的SOTA模型的可视比较。

图7提供了卡莫扩散和几个主要模型之间的图形比较,说明了定性的区别。最初的部分由前六行表示,涵盖了化学需氧量任务中遇到的一系列常见情况。这些场景包括填充了不同大小的对象或大量实体的场景,其中CamoDiffsion显著减少了过度自信的错误分割的情况,展示了其精确度和可靠性。随后的片段,从第7行到第9行,深入到更复杂的场景中,其特征是复杂的拓扑结构和尖锐的边缘。这些情景对现有的化学需氧量方法构成了巨大的挑战。然而,我们的模型利用稳健的迭代去噪框架,在这种苛刻的情况下展示了明确的能力来准确地定义边界。这种增强的描绘能力源于我们的模型的创新修改,这些修改是战略性地制作的,以优化广泛的COD场景的性能。

2)SOD任务评估:虽然我们的方法主要针对COD任务,但先前的研究已经强调了COD与显著目标检测(SOD)[28]、[51]、[52]之间的联系。SOD和COD是相关的二进制分割任务这两项任务都需要有效的边界检测、分割和多尺度特征提取,形成了利用两者的统一模型的自然基础。

        我们的Camo扩散模型通过一个条件扩散框架利用这些方面来逐步完善边界并减少过度自信的预测。以前的工作[9]、[10]表明,多尺度整合对这两项任务都有好处,尽管侧重点不同:SOD的锐利边缘与COD的微妙纹理。鉴于这些相似之处,将我们的模型扩展到SOD是很自然的一步。

        为了展示我们方法的多功能性,我们将实验扩展到包括SOD任务。

表2我们的方法和其他最新方法在三个SOD基准数据集上的量化结果

        表II提供了我们提出的方法与三个SOD基准数据集上的14个最先进模型的全面量化比较。结果明确表明,我们的方法超过了所有其他当代最先进的技术,肯定了它在满足任务要求方面的有效性和优越性。

        所有这些结果表明,我们的方法能够捕捉全局视觉上下文和显著对象的细微差别,为SOD和COD提供了更可靠的解决方案。

Ablation Studies

表III在COD10K数据集上模型组件的消融实验策略

        1)模型组件的消融:在架构设计部分,我们介绍了两个关键的改进:ZOE和TTC模块。为了评估这些成分的重要性,我们对Camo Diffsion的各个成分进行了消融研究,详细结果见表III。例如,如果ZOEs和TTC都标有‘×’,表示没有ATCN,则依赖于利用一致图像特征的去噪过程。分析表明,当ZOE和TTC同时实现时,我们的模型获得了最高的性能。相反,删除Zoe会导致性能下降,这突显了它在不更改原始图像数据的情况下有效整合掩模信息的关键作用。这一发现突出表明,Zoe有助于保持图像的完整性,同时无缝地融合特征,从而优化整体性能。

        2)ATCN的消融和去噪网络:自适应变压器条件网络和去噪网络在伪装目标检测框架中起着互补的作用。ATCN的目的是提取上下文特征(表示为Z1),作为后续去噪过程的粗略指导,而DN则逐步细化这些特征以产生准确的分割掩码。

        定量实验表明,仅依赖ATCN,而不进行后续的DN求精步骤,会导致性能显著下降。如表三所示,ATCN模块本身难以捕获更精细的细分细节,导致FWβ和Deφ等指标较低。这突出了需要由dN提供的迭代精化来实现精确的边界划定和稳健的对象定位。

图8.Z1的特征可视化和Dn的倒数第二层。

        从定性的角度来看,如图8所示,Z1和Dn内的中间特征的可视化表明,Z1提供了目标区域的初始近似,捕获了整体形状,但具有边界模糊和过度自信的预测等限制。通过迭代扩散步骤,DN有效地细化了这些边界并减少了过分割误差,从而产生了具有更高精度和一致性的最终掩码。这些分析表明,ATCN和DN协同工作:ATCN提供粗略的定位信息,DN迭代地校正和细化它以产生高质量的输出。

        3)训练战略的消融:表三的后半部分展示了针对这些战略进行的消融研究,展示了它们各自的和综合的有效性。仅信噪比策略的采用就导致了S度量的显著改进,从0.821提高到0.868,验证了我们的变异噪声时间表的有效性。此外,我们的研究结果表明,结构腐败也提高了性能,验证了这种扰动策略对伪装目标的有效性。这两种策略的结合显著提高了在COD10-K数据集上的性能,强调了将基于SNR的变化时间表与结构损坏相结合的协同效益。

表四我们的CTE战略在COD10K上的消融

        4)采样策略的消融:表四提供了CTE策略的消融研究的综合分析,详细列出了过度分割和欠分割的像素计数。结果表明,过度自信的错误预测显著减少,特别是在过度分割(过度自信的假阳性)的情况下。这一改进源于CTE机制能够忽略不到一半的分割图产生错误预测的区域。在大多数细分图产生不准确预测的情况下,CTE策略结合正确的预测来降低对这些领域的信心。结果,过度自信的错误像素比例从91%下降到76%,标志着模型可靠性的大幅提高。这一战略方法强调了CTE策略在提高分割准确性和模型可靠性方面的有效性。

图9不同采样步长(A)和信噪比漂移(B)的性能。

        5)超参数的消融:图9(A)显示了模型在COD10k数据集中的有效性如何随采样步数的变化而变化。步数的增加与性能的提高相关,尽管它也会导致推理持续时间的延长。为获得最佳结果,建议将采样设置为10个步骤,而设置为3个步骤可在推理时间的性能和效率之间取得平衡。此外,图9(B)检查了SNR漂移对模型有效性的影响。特别是,降低移位值会减少XT中保留的掩码信息量,这反过来会增加训练的复杂性。该模型在移位值为−2log(5.5时)时达到最高性能,表明仔细调整信噪比移位的重要性。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐