author={Zhiyuan Yan and Jiangming Wang and Peng Jin and Ke-Yue Zhang and Chengchun Liu and Shen Chen and Taiping Yao and Shouhong Ding and Baoyuan Wu and Li Yuan}

原文链接：https://arxiv.org/abs/2411.15633

摘要

人工智能生成的图像(AIGI)，如自然图像或人脸图像，已变得越来越重要，但也越来越具有挑战性。本文从一个新的角度来挖掘AIGI检测中泛化失败的原因，即不对称现象，即训练有素的检测器倾向于对有限且单调的伪模式进行过拟合，导致特征空间变得高度约束和低排序，这严重限制了表达能力和泛化能力。一种可能的补救方法是将预先训练的知识整合到视觉基础模型(排名较高)中，以扩大特征空间，减轻模型对虚假的过度拟合。为此，我们使用奇异值分解(SVD)将原始特征空间分解成两个正交子空间。通过冻结主成分和只调整剩余成分，我们在学习伪模式的同时保留了预先训练的知识。与现有的全参数和基于LORA的调谐方法相比，我们显式地确保了正交性，使得整个特征空间具有更高的等级，有效地最小化了过拟合，增强了泛化能力。我们最终确定了一个关键的见解：我们的方法隐含地学习了一个重要的先验，即假货实际上是从真实中派生出来的，这表明了一种等级关系，而不是独立的。我们认为，在此之前进行建模对于实现更好的泛化是必不可少的。我们的代码在GitHub上公开提供。

一、Introduction

        人工智能生成技术的快速发展大大降低了创造高真实感假图像的门槛。随着深度生成模型的发展和成熟(古德费罗等人，2020年；Ho等人，2020年；Rombach等人，2022b；Yan等人，2025年)，人工智能生成图像(AIGIs1)的激增已经引起了相当大的关注，这是因为它们能够相对容易地产生高质量的内容。然而，这些进步如果被滥用于恶意目的，如深度假冒(主要包括脸部交换(Korshunov&Marcel，2018)和脸部重演(Thies等人，2016))，也会带来重大风险，这可能会侵犯个人隐私，传播错误信息，并侵蚀对数字媒体的信任。因此，迫切需要开发一个可靠和可靠的框架来检测AIGIs。

        现有的大多数AIGI检测研究(Wang等人，2020b；Rossler等人，2019)通常将真/假分类问题视为对称的二进制分类任务，类似于“猫对狗”问题。通常基于深度神经网络的标准二进制分类器被训练成通过在推理过程中预测给定测试图像为假的可能性来区分真图像和假图像。虽然这一范式在训练和测试分布(就伪生成方法而言)相似时产生了有希望的结果，但当应用于以前未见的伪方法时，其性能往往会显著下降，这表明存在推广问题(Ojha等人，2023)。

图1.AI生成图像检测中的不对称现象图解。我们表明，基线检测器(即异常)往往会迅速过度适应训练集中的伪模式(Rossler等人，2019年)，导致在面对以前未见的伪模式时的推广有限(Li等人，2020b)。

        为了了解泛化失败的根本原因，我们进行了广泛的初步调查，发现了AIGI检测中的不对称现象：训练有素的检测器往往走捷径，很快就超过了训练集中出现的有限的虚假模式。图1中的可视化证实了这一说法。具体地说，香草检测器(即XERION(Rossler等人，2019年))在非常早期的训练阶段(只需几次迭代)快速匹配虚假模式，导致非常低的虚假损失，而真正的损失显著高于虚假损失(∼100倍于更大)。这可能是因为现有的AIGI检测数据集(Rossler等人，2019年；Wang等人，2020b)通常包含有限和同质的伪类型，而真实样本之间显示出更大的多样性和彼此之间的差异，例如不同的类别和场景。

        

图2.异常和剪辑之间的T-SNE可视化(完全微调)。我们发现，这两种模型都只学习训练集中特定的伪模式，将看得见的伪模式的样本视为假的，而其他样本都被认为是真的，从而限制了它们在检测看不见的伪模式时的泛化能力。

        因此，学习的特征空间变得伪占优，因此受到高度约束。如图2中的t-SNE可视化所证明的，我们看到整个特征空间确实由伪造模式主导，其中XERION(Vanilla CNN)和CLIP(Radford等人，2021年)检测器仅将训练集中的特定虚假模式分组到单个集群中，而所有其他数据，包括来自不可见伪造的真实样本和虚假样本被映射到单独的集群中。

图3.分析模型的特征空间中包含的有效信息。我们应用主成分分析进行降维，并将高贡献率的主成分的解释方差比可视化。我们表明，在AIGI数据集上训练的基线模型可以是高约束和低排名的。

        为了量化这一点，我们通过主成分分析(PCA)分析了模型特征空间中包含的有效信息2。具体地说，我们可视化了图3中模型特征空间不同主成分的解释方差比。结果表明，朴素检测器的特征空间可以是高度约束和低等级的，只有两个主成分来捕捉所有信息，导致泛化有限。这与之前的理论分析(Gunasekar等人，2017)一致，即低排名的特征空间通过记忆琐碎的模式阻碍了概括。

        解决低排序问题的一个潜在的解决方案是将预先训练的知识结合到视觉基础模型(VFM)中，该模型提供较高排序的特征表示，以扩展低排序的特征空间，从而减轻过度拟合。然而，幼稚地微调VFM(偶数片段)可能会扭曲原始的丰富表示特征空间(图2)，推动特征空间再次变得低排名(在图6中得到验证)。

        为了解决这一问题，我们设计了一种新的方法，称为努力：用于可推广的AIGI检测的高效正交建模。具体地说，我们使用奇异值分解(SVD)来构造两个正交子空间。通过冻结主成分和调整剩余成分，我们在学习与伪造相关的模式的同时保留了预先训练的知识。

        我们在深度伪检测和合成图像检测基准上进行了广泛的实验，发现我们的方法在很小的训练代价下取得了比其他SOTA算法明显的优势。与已有的全参数和基于LORA的调整方法相比，我们显式地确保了正交性，使得整个特征空间具有更高的排序，有效地减少了过度拟合到虚假，并增强了泛化能力。

图4.vanilla CNN(Wang等人，2020b)和我们之间的潜在特征空间的T-SNE可视化。该方法在语义维度和伪造维度之间实现了正交学习，使得模型能够在语义对齐子空间上捕获伪模式，简化了判别，从而提高了泛化能力。

        最后，我们得出了可推广的AIGI检测的一个关键见解：存在一个重要的检测任务的先验，其中从真实图像生成虚假图像，建立一种层次关系，而不是独立或对称的关系。当对齐语义信息时-例如区分假狗和真狗-这一先验允许模型将区分集中在较小的、语义一致的子空间内，例如，仅在狗之间(见图4的图解)。这种有重点的区分简化了任务，并与Rademacher Complex(Mohri&Rostaizadeh，2008)的理论结果一致，后者指出，降低模型复杂性会导致更严格的泛化界限。相比之下，将真实数据和虚假数据视为独立的幼稚训练的检测器无法捕获这种结构，导致泛化性能有限。因此，我们认为，对这种分层先验进行建模对于AIGI检测至关重要。

·AIGI检测中的非对称现象：我们引入了非对称现象的概念，即一个训练有素的检测器往往很快就能很好地适应已见的伪方法，但在这样做的过程中，它往往过于适合训练集中的特定伪模式，从而限制了其对不可见伪方法的泛化能力。

·解释泛化失败原因的新视角：我们使用主成分分析对学习的特征空间中的有效信息进行定量评估，发现过度拟合到假，会导致高度低排名和受限的特征空间，从而导致泛化能力有限。

·提出了一种基于正交子空间分解的方法来解决过拟合度问题：(1)在视觉基础模型中加入预先训练好的知识(证明了较高等级的特征空间)来扩展先前的特征空间，提高了模型的表现力，缓解了过拟合度；(2)采用奇异值分解方法显式构造了两个正交子空间，其中主空间用于保存预训练知识，剩余的子空间用于学习新的伪迹，避免了学习伪迹时原有丰富的特征空间的扭曲。

·对可概括检测的关键洞察：我们揭示，虚假数据实际上是从真实数据生成的，形成了一种分层关系，而不是独立的。我们的方法通过维护预先训练的语义成分来有效地对这种先验进行建模，同时有效地适应于伪检测，使检测器能够对语义对齐子空间进行区分，从而降低了模型的复杂度，从而提高了泛化能力。

二、Related Work

我们的工作集中在检测人工智能生成的图像(AIGI)，特别是深度假图像(例如，人脸交换)和合成图像(例如，自然或艺术)，跟随严等人。(2024a)。由于最近的大部分工作都集中于处理泛化问题，其中训练分布和测试分布不同(就伪像方法而言)，我们将分别简要介绍针对深度伪像和合成图像的泛化的经典和最新检测方法。

可推广的深伪图像检测。深度假冒检测的任务深刻地涉及到泛化问题。要解决泛化问题，一种主流方法是伪模式学习。大多数现存的作品都在这条线上。这些方法通常设计一种“变换函数”，例如频率变换(Li等人，2021；Luo等人，2021；Liu等人，2021a)、混合运算(Li等人，2020a；赵等人，2021；Shiohara&Yamasaki，2022；Chen等人，2022a)、重构(朱等人，2021；曹等人，2022)、内容/ID解缠(严氏等人，2023a；Fu等人，2025；Huang等人，2023；董等人，2023)，将原始输入x转换为x‘，其中他们认为，与x相比，可以在x’的特征空间内捕获更一般的伪模式。然而，鉴于现实世界中伪造方法的日益多样化，详细阐述所有可能的伪模式并对看不见的伪方法进行良好的概括是不现实的。另一个值得注意的方向是真正的分布学习，涉及一种具体的方法：一类异常检测(Khalid&Woo，2020；Larue等人，2023)。具体地说，Khalid&Woo(2020)引入了一种基于一类的异常检测方法，其中异常数据通过提出的重建误差作为异常分数来检测。LaRue等人。(2023)提出了一种类似的方法，通过在不同的面部区域上使用图像级混合来创建伪伪“异常”样本。然而，通过使用现有深度伪数据集中非常有限的真实数据(例如，FF++数据集(Rossler等人，2019年)仅包含1,000个面部属性分布不平衡的真实视频(Trin h&Liu，2021))，确保检测器能够学习真实图像的稳健表示是具有挑战性的。

可推广的合成图像检测。随着现有人工智能生成技术的快速进步，伪造内容的范围已经超越了面部伪造，涵盖了广泛的场景。在这种背景下，与深伪检测领域类似，现有的工作大多侧重于伪模式学习，从不同的角度挖掘低层次的伪造线索。具体地说，已经提出了几种方法来捕获低级伪像，包括RGB数据增强(Wang等人，2020b)、基于频率的特征(Jeong等人，2022)、梯度(Tan等人，2023)、重建伪像(Wang等人，2023a；Chen等人，2024；Luo等人，2024)以及相邻像素关系(Tan等人，2024c)、随机映射特征(Tan等人，2024a)。为了说明，BiHPF(Jeong等人，2022)通过应用双重高通滤波器放大伪像幅度，而LGrad(Tan等人，2023)使用来自预训练模型的梯度信息作为伪像表示。NPR(Tan等人，2024c)通过重新考虑上采样操作引入了一种简单但有效的伪像表示。除了从头开始学习外，还有几项研究工作(Ojha等人，2023；Wu等人，2023；Liu等人，2024)通过利用现有的视觉基础模型进行伪模式学习。例如，UniFD(Ojha等人，2023)直接冻结预训练剪辑模型的视觉编码器，并仅调整用于二进制分类的线性层，从而展示了即使对于先前未见的来源也能有效地进行深度伪检测。LAST(Wu et al.，2023)提出通过图文对比学习来设计文本标签来监督剪辑视觉模型，从而推动了合成图像检测领域的发展。这些技术在面对以前未见过的伪方法时，在泛化性能方面表现出了显著的改善。

三、Methodology

图5.建议的AIGI检测方法左支是基于奇异值分解的主成分近似分解矩阵，右余支实现真伪鉴别特征的正交学习。

        图5说明了所提出的努力方法的总体流程，旨在解决AIGI检测中的不对称现象。该方法利用奇异值分解构造显式正交性，用于保存预先训练的知识和学习与伪造相关的模式，避免在学习伪造的过程中扭曲良好的预先训练的知识。

        形式上，给定某个线性层的预先训练的权重矩阵W∈Rd1×D2，我们执行奇异值分解来分解W：

        

        分别是包含左奇异向量和右奇异向量的正交矩阵，Σ∈Rd1×D2是在对角线上具有奇异值的对角矩阵。由于VFM的线性层通常具有相同的输入和输出尺寸，因此我们在下面的讨论中考虑具有d1=d2=n的奇异值分解的情况。

        为了获得预先训练的权重矩阵的秩r近似值，我们只保留前r个奇异值和对应的奇异值：

        

        

        我们在训练期间冻结WR，以保存从大规模数据中学习的主要预训练知识。残差分量定义为预先训练的权重和SVD近似之间的差值，用于学习特定于虚假图像的表示：

        

        

        值得注意的是，∆W表示与剩余的奇异值分解相关联的可学习形式，反映了对原始权重矩阵的轻微修改或扰动。

        在训练期间，我们只优化∆W，同时保持Ur、Σr和Vr不变。这种实现方式确保了该模型通过SVD近似保持其处理真实图像的能力，并通过权重矩阵的平凡残差分量自适应地检测深度伪像。

        为了鼓励∆W捕捉真实和虚假之间的有用和有意义的差异，重要的是保证优化∆W不改变总体权重矩阵W的属性(即，尽可能地最小化对预先训练的权重的真实信息的影响)。因此，我们提出了实现这一目标的两个约束条件，如下所示。

        正交约束。我们保持每个奇异向量之间的正交性，以保持正交子空间以学习真/假：

        

        其中ˆU∈Rn×n表示Ur和Un−r沿行维度的级联，ˆV∈Rn×n表示Vr和Vn−r沿行维的级联，∥·∥F表示Frobenius范数，i是适当维恒等矩阵。

        奇异值约束。奇异值可以被解释为影响相应奇异向量的大小的缩放类型。奇异值与被分解的权重矩阵的Frobenius范数之间存在关系：

        

        其中σi表示相应权重矩阵的第i个奇异值。

        为了最大限度地减少真实知识的影响，我们将优化的权重矩阵Wˆ的奇异值约束为与原始权重矩阵W的奇异值保持一致：

        

        其中Wˆ表示W优化后的权重，|·|表示绝对值。注意，该正则化将在优化期间控制∆W的重要性，以防止学习真/假的过度拟合。

        损失函数。用于训练模型的总损失函数组合了分类损失LCLS(例如，用于二进制分类的交叉损失)和正交性正则化损失：

        

        其中，λ1，λ2是平衡相应正则化项的重要性的超参数，并且m表示应用我们的方法的预训练权重矩阵的数目。在实践中，我们将我们的方法调整到VFM的所有变压器层上的自我关注模块内的线性层，以利用它们丰富的、经过充分学习的真实分布。最后，给出了该方法在ALG中的算法说明。1以了解总体情况。