危机中的歧义性：多模态与合成数据分类方法

# Ambiguity in Crisis: A Multimodal and Synthetic Data Approach to Classification

第一部分：全文翻译

摘要

社交媒体平台，如 Twitter（现更名为 X），通过实现实时信息共享，在危机期间发挥着至关重要的作用。然而，多模态数据可能存在歧义，且模态间的标签可能出现错位。能够对“有信息量”和“无信息量”的推文进行分类有助于危机响应，但这些数据在数据集中往往具有歧义性且分布不平衡，从而削弱模型性能。本研究探讨了多模态学习方法在对危机相关推文进行分类（无论其是否存在歧义）方面的有效性，并通过使用生成式人工智能（AI）进行合成数据增强来解决类别不平衡问题。实验结果表明，多模态模型始终优于单模态模型，特别是在模态间标签错位普遍存在的歧义推文中。此外，合成数据的加入显著提高了宏平均 F1 分数（Macro F1），表明模型在少数类上的性能得到了提升。

关键词：多模态学习；危机信息学；数字人文；社交媒体分析；合成生成；推文分类

I. 引言

像 X 这样的社交媒体平台已成为在自然灾害（包括野火）引发的危机期间众包实时信息的有用平台。本项目利用社交媒体内容，特别是来自 X 的推文，提取与危机相关的信息 [Palen, 2008]。自问世以来，社交媒体一直是一个重要的沟通渠道，允许现场个人分享关于正在发生的事件（如 2011 年东日本大地震和海啸）的实时更新 [PEARY et al., 2012]。本研究聚焦于 2017 年加利福尼亚野火的推文，旨在将其分类为“有信息量”或“无信息量”。此类分类可以通过提供及时、相关的信息并过滤噪音来辅助人道主义工作，最终减少信息过载并增强态势感知 [Imran et al., 2020]。

然而，由于社交媒体的自由性质，用户可以随意发布内容，随之而来的噪音信息阻碍了社交媒体向急救人员和人道主义援助团队提供及时、相关的危机更新以告知现场情况的有效性。对 X 中的推文进行有效分类有助于利用社交媒体的潜力收集实时信息，同时减少信息过载和噪音。

使用社交媒体内容进行分析的一个关键问题是其中包含大量噪音。社交媒体帖子通常未经核实，因此可能是不太一致的数据源。例如，要确定一条推文是否包含关于危机的关键信息，必须同时检查文本和附带的图像。这两种信息模式可能会错位，使得即使是人类观察者也难以判断，从而产生歧义。以往关于危机数据集多模态分类的工作主要集中在预处理和清洗后的数据上，即文本和图像标签之间不存在歧义的数据。

本研究旨在建立在我之前关于无论歧义与否的危机推文多模态分类工作的基础上 [Teng and Öhman, 2025]。虽然早期工作侧重于使用加权评估指标的基线模型且未使用合成增强，但本文通过引入合成数据生成的探索以及更全面的评估指标和分析，引入了一个新的分析层面。这项工作还探索了使用更先进的多模态模型（如 CLIP），以了解大型预训练模型在我们这样特定任务上的有效性。

II. 背景

2.1 危机推文分类

由于在查看社交媒体来源时存在信息过载 [Hiltz and Plotnick, 2013]，信息缩减和过滤对于有效收集人道主义响应的实时信息至关重要。已有许多研究利用 CrisisMMD 数据集（其中文本和图像标签一致）进行危机社交媒体数据的信息识别，以缓解信息过载问题。这些研究包括利用深度学习和传统技术的纯文本单模态模型，能够捕捉文本数据中的语义细微差别 [Jain et al., 2025, 2024a]。同样，纯图像模型（如利用 VGG-16 的模型）已被用于提取有信息的视觉特征，实现了图像的精确分类 [Jain et al., 2024b]。通过早期特征级融合整合传统机器学习和深度学习技术的多模态学习方法，被用于更好地解决模态间的相互作用 [Ofli et al., 2020]。此外，像 CLIP 这样的对比学习模型在利用对比损失对齐文本和视觉嵌入方面取得了显著成功，使其对分类有效 [Mandal et al., 2024]。一些研究还使用了更先进的架构，如多模态 Cycle-GAN (MMC-GAN)，通过采用混合融合策略和鲁棒的特征提取技术来实现最先进的分类性能 [Zhou et al., 2023]。

2.2 处理社交媒体数据集中的类别不平衡

使用社交媒体数据集面临若干挑战，其中最突出的是类别不平衡，这是现实世界数据的常见特征。大多数分类算法自然是在平衡数据上进行评估的，即数据分布来自各自的类别 [Ali et al., 2013]。然而，在现实中，许多数据本质上是不平衡的，例如在欺诈检测或疾病检测中 [Johnson and Khoshgoftaar, 2019]。类别不平衡使得模型难以有效地从两个类别中学习，因为存在有利于多数类的内在偏差。在社交媒体背景下，这个问题也不例外。Liu 等人 [2014] 关于讽刺检测的研究、Liu 等人 [2017] 关于垃圾邮件检测的工作以及 Agrawal 和 Awekar [2018] 的网络欺凌检测都面临不平衡数据集的问题。针对此问题的常见策略包括随机过采样 (ROS)、随机欠采样 (RUS) 和合成少数类过采样技术 (SMOTE)。在算法方面，调整类别权重以更多地从少数类中学习等策略也被使用 [Leevy et al., 2018]。

2.3 合成多模态数据生成

随着生成式 AI 的最新进展，合成数据已成为增强数据集和增强多样性（特别是在代表性不足的类别中）的可行解决方案。由于数据收集涉及巨大成本，利用生成式 AI 算法能力的合成数据生成引起了极大兴趣。Li 和 Li [2025] 发现，合成用于训练视觉语言模型（如 CLIP）的训练图像可以提升组合理解能力。Deeva 等人 [2021] 也设计了一个多模态数据生成管道，用于生成与个人信息相关的表格和图像数据，取得了高度可信的结果。虽然本研究使用生成对抗网络 (GANs) [Goodfellow et al., 2014] 进行图像生成，但 Borji [2023] 发现稳定扩散 (Stable Diffusion) [Rombach et al., 2022] 可以生成优于其他模型的人脸图像。

III. 数据

本研究利用 CrisisMMD 数据集，这是一个多模态 Twitter 语料库，包含来自 2017 年七大全球自然灾害（包括地震、飓风、野火和洪水）的数千条人工注释的推文和图像 [Alam et al., 2018]。该数据集包括三个注释层：信息量、人道主义类别和破坏严重程度，使其成为分析社交媒体上危机相关内容的宝贵资源。

本研究将分析范围缩小到专门与 2017 年加利福尼亚野火相关的推文。该数据集的一个显著局限性是文本和图像的注释是独立进行的，导致模态之间可能存在错位。为了解决这个问题，仅保留了标签匹配的推文-图像对，减少了歧义并增强了用于训练和评估多模态分类模型的数据集的可靠性。

图 1 中的相关性图表显示，标记为“有信息量”的文本和图像注释之间存在很强的一致性，有 923 个一致实例。尽管如此，仍存在显著差异：322 个案例中文本被标记为“有信息量”但图像为“无信息量”，以及 62 个相反模式的案例。这些不匹配强调了社交媒体内容的内在复杂性，其中文本和图像模态可能传达不同程度的信息量。

在分析的 1,589 个推文-图像对中，有 384 个因模态标签错位而被标记为歧义。为了解决这个问题，进行了人工重新注释过程以解决不一致性。如果推文包含任何关于加利福尼亚野火的相关信息，则将其标记为“有信息量”，从而确保为后续分析提供更一致和有意义的多模态数据集。

原始多模态标签源自检查单模态标签的一致性，如果它们一致，则分配相应的标签。如果单模态标签冲突，则标签将为“歧义”。第二种类型的标签是在人工注释后分配给歧义数据的人工注释标签。图 2 展示了这些组合标签的分布。

如图所示，数据集中有相当一部分被标记为歧义，包含 384 行，这显著超过了无信息量类别的行数。仔细检查这些歧义推文的人工注释后，类别不平衡问题变得更加明显：只有 4 条歧义推文被标记为无信息量，而其余 380 条被视为有信息量。这些歧义案例在信息量分类任务中提出了核心挑战，并作为采用多模态方法的关键动机。

然而，挑战不仅在于歧义本身，还在于歧义数据集标签的高度不平衡分布，这可能会对模型性能产生负面影响。这种不平衡凸显了合成数据增强的重要性，以更好地代表代表性不足的类别，并确保在训练期间进行更稳健和可泛化的模型学习。

IV. 方法论

本研究旨在创建一个多模态分类模型，将推文（无论是否歧义）分类为两类：“有信息量”和“无信息量”。为了解决数据不平衡问题，还进行了合成数据生成过程以增强数据集。

4.1 合成数据生成

少数类数据的严重代表性不足是我之前研究中的一个关键限制，其中类别不平衡严重阻碍了模型从少数类中学习的能力 [Teng and Öhman, 2025]。基于这些发现，本研究将重点从整体性能转移到增强严重代表性不足类别的分类上。具体而言，它旨在提高模型准确识别歧义和无信息量推文的能力，这些推文在现实世界数据集中通常非常有限。鉴于此类示例的稀缺性，本研究探索使用生成式 AI 技术来合成增强训练数据，从而支持多模态设置中更平衡和有效的学习。

为了引入更多严重的少数类数据，结合大型语言模型 (ChatGPT) 和文本到图像模型生成了 100 条合成推文，特别是歧义和无信息量的推文。样本数量特意设定为 100，以将歧义案例中无信息量推文的比例提高到至少 20%。这旨在缓解原始数据集中观察到的偏斜，即绝大多数歧义推文被标记为有信息量。

由于目标是创建歧义推文，因此必须确保文本和图像模态之间在信息量上存在冲突。单模态标签错位有 2 种组合：

1. 图像有信息量，推文文本无信息量
2. 推文文本有信息量，图像无信息量

文本和图像组件是独立生成的，而不是整体生成文本-图像对，以最小化它们之间的连贯性。这降低了组合模态隐含传达有意义信息的可能性。因此，生成的最终多模态样本可能是歧义的，并且由于内容的脱节或模糊性质，它可以被视为无信息量。

图 3 展示了为标记为歧义和无信息量的少数类生成的合成推文示例。虽然推文提到了野火的更广泛背景，但文本和附带的图像均未提供具体或可操作的信息。值得注意的是，生成的图像通常受到质量限制。特别是，人类特征（如面部 or 四肢）经常被渲染得不切实际或扭曲。一些图像甚至可能对人类来说缺乏可解释性，包含没有意义的抽象或不可识别的元素。尽管存在这些限制，人工检查表明生成的数据通常是连贯的，并非过度不切实际。

4.2 模型实验

实验了三种模型来分析单模态和多模态方法分类的有效性：

纯文本模型。使用 BERT base 模型处理文本数据 [Devlin et al., 2018]。该 BERT 模型经过微调，基于文本对推文进行分类，建立在基于 Transformer 的架构强大的语义理解能力之上。

纯图像模型。使用在 ImageNet 上预训练的具有 16 层深度卷积神经网络的 VGG-16 模型，基于图像内容对推文进行分类 [Simonyan and Zisserman, 2015]。VGG-16 模型具有提取相关视觉特征的强大能力，针对分类任务进行了微调。

多模态交叉注意力模型。为了利用来自文本和图像模态的互补信息，使用了采用混合融合架构的多模态模型，该架构整合了用于图像处理的预训练 VGG-16 模型和用于文本嵌入的预训练 BERT 模型。使用交叉注意力机制通过对齐文本和图像嵌入将两种信息模式有效地融合在一起 [Khattar and Quadri, 2022]。为了对数据进行分类，文本和交叉注意力层的输出被设计为产生类别概率。这种交叉注意力融合设计旨在允许模型有效地捕捉跨模式的互补特征并实现强大的分类性能。

带逻辑回归分类器的 CLIP 模型。CLIP（对比语言-图像预训练）是较流行的多模态视觉和文本模型之一。虽然它是多模态模型，但 CLIP 旨在用于图像的零样本分类。因此，为了评估危机推文的信息量，可以使用 CLIP 评估推文图像并使用文本提示将其分类到各自的类别中。CLIP 是由 OpenAI 开发的视觉语言模型，它学习在共享潜在空间内对齐文本和视觉嵌入 [Radford et al., 2021]。为了在使用 CLIP 时利用两种模态的数据，构建了一个基于 CLIP 模型产生的联合嵌入的监督分类管道。该方法在 CLIP 生成的嵌入之上微调分类器，以利用文本和图像进行分类。

V. 结果

表 1 总结了四种分类模型在整个数据集上使用和不使用合成数据进行训练的结果。所有四个模型在分类任务上表现相当不错，在所有数据集上实现了约 0.80 的加权 F1 分数。CLIP 和监督分类器模型在两个数据集上的宏平均和加权 F1 分数均始终优于其他模型。

无合成数据的完整数据集。多模态 CLIP 和监督分类器模型实现了 86% 的最高加权 F1 分数，而纯文本和纯图像模型均为 80%。两种多模态模型的表现均优于单模态模型，表明使用两种模态进行分类的优势。

有合成数据的完整数据集。当使用合成数据训练时，除交叉注意力模型外，所有模型的宏平均 F1 分数均显示出提升。使用合成数据的主要动机是增加数据集的多样性，特别是通过增加少数类的代表性。观察到的宏平均 F1 的改进表明，使用合成数据有助于提高少数类的模型性能，解决了早期模型面临的一个关键挑战。通过添加合成数据进行训练，性能提升最大的是带有监督分类器的 CLIP 模型。

歧义数据集。仅对歧义子集的评估最初显示，当仅在原始数据上训练时，所有模型的宏平均 F1 分数均下降。这表明模型在歧义背景下难以进行少数类分类，这可以通过平等加权所有类别的宏平均 F1 分数轻松识别。然而，引入合成数据进行增强显著提高了所有模型的宏平均 F1 分数（表 2）。例如，BERT 的宏平均 F1 从 0.45 提高到 0.80，多模态交叉注意力模型的从 0.47 提高到 0.83，显示出模型泛化和正确分类少数类推文能力的显著提高。这标志着合成数据在提高模型对歧义和少数类案例敏感性方面的效用。

VI. 讨论

本研究通过使用单模态和多模态方法对危机相关推文（无论是否存在歧义）进行分类的实验，提供了几个主要发现。首先，与单模态模型相比，利用文本和图像数据始终能提高整体性能。具体而言，带有监督微调的 CLIP 模型在完整数据集上实现了最高性能，而多模态交叉注意力模型在歧义子集上证明最为有效。

其次，引入用于训练的合成推文，特别是无信息量和歧义类别的推文，已被证明有助于提高模型对少数类的敏感性。显著提高的宏平均 F1 分数表明类别预测之间的平衡性更好。

第三，与完整数据集相比，仅在歧义推文上评估时宏平均 F1 分数的下降揭示了模型在正确分类不确定或噪音推文方面的局限性。然而，与完整数据集的情况类似，包含合成数据非常显著地提高了宏平均 F1 分数，显示了增强方法的鲁棒性。

多模态学习的卓越性能。多模态学习，特别是通过交叉注意力等机制对齐文本和图像数据的模型，在处理歧义推文方面证明非常有效。由于推文的信息分散在两种模态中，当一种模态的信号弱于另一种时，纯文本或纯图像模型可能会陷入困境。因此，多模态方法能够更好地通过融合互补特征或将两种模态表示到一个共享的潜在空间中来解决歧义。

本研究调查的两种多模态模型均优于其单模态对应物，特别是在歧义推文子集上。这表明歧义推文的准确分类在很大程度上依赖于利用文本和视觉模态的能力。在许多歧义案例中，模态可能相互矛盾，或者一种模态可能比另一种携带更多相关或更少噪音的信息，使得多模态整合对于稳健的分类性能至关重要。

在歧义子集上，交叉注意力融合模型实现了比带有监督分类器的 CLIP 模型更高的宏平均和加权 F1 分数，特别是在使用合成数据训练时。然而，当在完整数据集上评估时，CLIP 监督模型优于交叉注意力模型。这表明不同的模型架构可能具有不同的优势：交叉注意力融合似乎更适合解决歧义，而 CLIP 在所有推文类型中表现出更强的通用性能。

学习嵌入的主成分分析 (PCA) 进一步支持了这一区别。对于交叉注意力融合模型，PCA 图显示了一个更紧密、更紧凑的嵌入空间，有信息量和无信息量推文之间有清晰的分离。歧义示例虽然有时被错误分类，但通常位于其相应集群附近。然而，该空间的狭窄可能表明模型泛化到更多样化输入的能力有限，即使它在歧义案例上表现良好。相比之下，CLIP 模型的嵌入空间更宽，显示出更多的分散性，特别是对于通常位于两个主要集群之间的歧义推文。这反映了模型在果断分类歧义示例方面的困难。然而，这个更宽的空间可能预示着更好的泛化能力，这与其在包含非歧义推文的完整数据集上的更强性能相一致。

合成数据在解决类别不平衡中的有效性。用少数类合成推文增强训练数据集导致大多数模型的宏平均 F1 分数持续获得增益，突出了其在解决类别不平衡和为少数类分类带来增益方面的价值。宏平均 F1 对少数类性能特别敏感，其显著增加表明模型在正确分类代表性较少或更具歧义的实例方面变得更好。值得注意的是，像 BERT 和带有监督分类器的 CLIP 模型在使用合成增强数据训练时看到了巨大的改进。这些发现支持了这样一种观点，即精心生成的合成数据可以提高代表性不足类别的泛化能力，特别是在因危机报告模式而倾斜的现实世界数据集中。

评估指标权衡与现实世界影响。以前关于评估模型性能的工作较为天真，仅关注加权 F1 分数，因为它提供了在数据不平衡性质下模型表现的感觉 [Teng and Öhman, 2025]。然而，简单依赖加权 F1 分数的一个警告是可能提供不完整的视角，因为无法立即观察到少数类的性能。因此，给予每个类别相同权重的宏平均 F1 提供了模型跨类别稳健性的更好反映，对于基于危机的数据集更为关键。具有高准确率但低宏平均 F1 的模型可能仅在主导类别上表现良好，未能检测到关键的少数类信号，如早期预警或局部事件。在紧急响应或错误信息过滤等高风险应用中，针对平衡性能进行优化至关重要。因此，通过同时考虑宏平均和加权 F1 分数，本研究展示了指标选择如何直接塑造模型的评估方式以及根据指标选择将固有地优先考虑什么。

6.1 局限性

注释。本研究中使用的数据完全源自 CrisisMMD 数据集。虽然该数据集提供了多模态标签，但它们是通过独立注释每个模态（文本和图像）而不是作为一个整体获得的。对于因模态错位而表现出歧义标签的推文，进行了额外的人工注释。然而，由于注释者未参与 CrisisMMD 数据集的原始注释过程，新添加的标签可能反映了对什么构成“有信息量”或“无信息量”推文的不同解释。这种不一致可能会引入主观性并影响研究的普遍性。

背景特异性。本研究仅关注与 2017 年加利福尼亚野火相关的推文。因此，研究结果可能无法很好地推广到当代的社交媒体内容。X（前 Twitter）等平台上的语言发展迅速，随着时间的推移会出现新的俚语、内容格式和平台规范。此外，平台法规和用户行为的转变意味着当今危机相关推文的性质可能与数据集中的推文有很大不同，这可能会限制训练模型对当前事件的适用性。

合成数据的风险。合成多模态数据的生成依赖于一个相对简单的管道：文本内容使用 ChatGPT 创建，并与通过 Stable Diffusion 模型生成的图像配对。这些组件使用旨在类似于现实世界推文-图像对的启发式规则进行对齐。尽管努力确保真实性，但一些生成的图像仍存在诸如人类特征扭曲等问题，这可能会影响下游模型的性能。虽然进行了快速视觉检查以验证增强的可信度，但合成数据质量可能是本研究的一个局限性。此外，该过程可能会无意中将源自所用模型类型及其训练数据的隐藏偏差或噪音引入训练数据，从而可能以意想不到的方式影响我们的模型预测。

6.2 实际应用

危机响应。本研究展示了数据科学在利用社交媒体进行实时危机响应方面的潜力，即使存在噪音和歧义信息。多模态分类模型在识别有信息的危机相关推文方面的强大性能表明其在紧急响应系统中的实用性。此类模型可以集成到自动化信息过滤管道中，减少危机响应团队面临的操作负荷。通过利用众包社交媒体内容准确检测危机的存在和严重程度，当局和人道主义组织可以更有效地确定优先级并将资源分配给最需要的地区。

使用生成式 AI 改进模型。关于使用生成式 AI 生成的合成数据有效性的发现突出了提高模型稳健性和性能的一个有前途的方向。在社交媒体背景下，数据不平衡是一个持续存在的问题，特别是对于少数或代表性不足的案例，合成数据生成作为一个可扩展的解决方案。通过用合成创建的示例增强数据集，特别是对于罕见或歧义类别，可以训练模型更好地识别边缘情况并避免过拟合多数模式。这种方法具有广泛的影响，包括增强错误信息检测、改进低资源语言的内容审核以及解决分类系统中的系统性偏差。此外，在自然灾害等高风险场景中，数据收集通常很困难，生成式 AI 可以在填补空白和模拟关键训练数据方面发挥关键作用。

6.3 未来工作

其他危机领域。虽然本研究仅关注 2017 年加利福尼亚野火，但未来的工作应探索研究结果对其他危机类型（如自然灾害、流行病或政治起义和时期）的可迁移性。评估合成数据生成和多模态学习方法是否能很好地推广到各种场景，将有助于建立其在不同背景下的更广泛应用。

模型调整和提示工程。通过提示工程和更严格的超参数调整，可以进一步提高模型性能，特别是对于 CLIP 和交叉注意力模型。这包括改进零样本设置的候选标签措辞，以及优化监督训练中的学习率、注意力参数或批量大小。

用于合成数据生成的微调。目前的方法使用预训练的稳定扩散模型，利用大型语言模型生成的图像提示来生成图像。未来的研究可能涉及专门针对危机相关数据微调生成模型，以产生更具领域相关性的合成推文。这可能会产生更高质量的样本，更好地反映人们在危机期间发布内容的细微差别和现实。

合成数据质量的评估。合成数据的使用对我们的任务至关重要，进一步探索评估生成数据的真实性、多样性和实用性的稳健评估指标非常重要。未来的工作可以探索自动和人在回路的方法，在用于模型训练之前验证合成推文，确保它们不会引入噪音或偏差。

---

第二部分：深度解读

危机信息学中的“罗生门”：多模态歧义与数据合成的破局

在数字人文与危机信息学的交叉领域，社交媒体数据（特别是 Twitter/X）已成为灾难响应中不可或缺的情报来源。然而，Sumiko Teng 的这项研究《危机中的歧义性：多模态与合成数据分类方法》敏锐地指出了一个长期被忽视的痛点：数据的多模态歧义性（Multimodal Ambiguity）。当推文的文本在呼救，而配图却是一张无关的风景照时，算法该如何判断？这不仅是一个技术问题，更是一个关于信息真伪与语境对齐的认识论问题。本研究以 2017 年加州野火为切入点，通过引入生成式 AI 制造“合成数据”，为解决这一难题提供了一种极具前瞻性的方法论框架。

一、 核心困境：当文本与图像“各说各话”

传统的危机数据分析往往假设数据是干净且一致的，即文本和图像共同指向同一个语义目标（例如，都在描述火灾现场）。然而，现实世界的社交媒体数据充满了噪音和错位。研究者在处理 CrisisMMD 数据集时发现，大量推文存在“模态错位”现象：文本被标记为“有信息量”（Informative），而图像却是“无信息量”（Not Informative），反之亦然。

这种错位导致了数据的“歧义性”。在灾难响应的高压环境下，这种歧义是致命的。如果算法因为图像的无关性而过滤掉了一条包含关键求救文本的信息，后果不堪设想。更严重的问题在于数据的极端不平衡。在经过人工重新标注的歧义数据子集中，绝大多数样本最终被判定为“有信息量”，而“无信息量”的样本极其稀缺（仅占 4 例）。这种长尾分布使得传统的机器学习模型极易陷入“多数类偏差”，即模型倾向于将所有模糊数据都预测为“有信息量”，从而失去了识别噪音的能力。

二、 方法论创新：以“合成”对抗“匮乏”

面对少数类样本（即“既歧义又无信息量”的数据）的极度匮乏，本研究没有止步于传统的过采样技术（如 SMOTE），而是拥抱了生成式 AI 的浪潮。这是一种数字人文研究范式的转变：从单纯的“分析”既有数据，转向“合成”数据以辅助分析。

研究者构建了一个合成数据管道：利用 ChatGPT 生成语义模糊或无关的文本，并配合 Stable Diffusion 生成相应的图像。关键的创新点在于刻意制造“不连贯性”。不同于通常追求图文高度匹配的生成任务，这里特意独立生成文本和图像，以模拟现实中用户发布内容时的随意性和错位感。通过这种方式，研究者人为地制造了 100 条高质量的“歧义且无信息量”的合成推文。这不仅在数量上平衡了数据集，更在特征空间中为模型提供了关键的“负样本”锚点，迫使模型学习区分什么是真正有价值的信息，什么是模棱两可的噪音。

三、 模型博弈：CLIP 的泛化与交叉注意力的专精

在模型实验部分，研究对比了纯文本（BERT）、纯图像（VGG-16）以及两种多模态架构：基于交叉注意力（Cross-Attention）的融合模型和基于 CLIP 的分类模型。结果揭示了不同架构在处理危机数据时的深刻差异。

CLIP 的胜利与妥协：在完整数据集上，CLIP 结合监督分类器的表现最为优异（加权 F1 达到 0.86）。这得益于 CLIP 在海量互联网数据上预训练所获得的强大泛化能力，其嵌入空间（Embedding Space）更加宽广和分散，能够容纳各种未见过的特征组合。

交叉注意力的逆袭：然而，当目光聚焦于最难处理的“歧义子集”时，交叉注意力模型在合成数据的加持下表现出了惊人的针对性（Macro F1 达到 0.83）。PCA 分析揭示了原因：交叉注意力机制通过强制对齐文本和图像特征，构建了一个更紧凑的特征空间。这种“紧致性”虽然牺牲了一定的泛化能力，但在处理那些模棱两可的边界情况时，能够更果断地进行切割和分类。

这一发现对于 AI 架构的选择具有重要指导意义：在需要广泛覆盖的通用场景下，CLIP 是首选；但在需要精细辨析歧义的特定场景下，显式的特征融合机制可能更为有效。

四、 评价指标的政治学：Macro F1 的正义性

本研究在讨论部分对评估指标进行了深刻的反思，这体现了学术严谨性。研究者指出，单纯依赖加权 F1（Weighted F1）会掩盖模型在少数类上的无能。在危机情境下，这不仅是统计学问题，更是伦理问题。如果模型只能识别大多数显而易见的求救信号，而忽略了那些表达含蓄或图文不符的边缘求救信号，那么算法实际上是在加剧某种“幸存者偏差”。

引入合成数据后，模型的 Macro F1（宏平均 F1）显著提升，这意味着模型不再仅仅是“猜对大多数”，而是真正学会了理解少数类。这种对指标的坚持，反映了研究者对于算法公平性和鲁棒性的追求，确保技术进步能够惠及数据分布长尾中的弱势群体。

五、 总结与展望

Sumiko Teng 的这项工作是数字人文与计算机科学深度融合的典范。它没有停留在应用现有模型上，而是针对危机数据的本体论特征（歧义性、不平衡性）提出了针对性的技术解法。

通过引入合成数据，研究证明了生成式 AI 不仅是内容的生产者，更是判别式 AI 的“教练”。这种“以生成促理解”（Generation for Understanding）的思路，为解决小样本、长尾分布以及高噪音领域的分类问题开辟了新路径。尽管研究在合成数据的质量控制和时代背景的局限性上仍有提升空间，但其核心洞见——利用多模态融合解析歧义，利用合成数据填补认知盲区——对于构建更具韧性的危机响应系统具有深远的启示意义。