这项研究来自瑞士联邦理工学院数据科学中心、德国Everest Systems GmbH、意大利Villanova.ai公司及独立研究员的联合团队，成果以工作笔记形式提交至2026年CLEF国际评测大会的EXIST实验室赛道，发表于2026年9月21至24日在德国耶拿举办的CLEF 2026 Working Notes论文集，感兴趣的读者可以通过代码仓库 github.com/NLP-AI-Wizards/EXIST-2026 进一步了解详情。

每天互联网上流传着成千上万张表情包（meme）。有些让人捧腹，有些让人皱眉，还有一些悄悄传递着对女性的轻视与歧视。问题在于，这些歧视往往藏在幽默的外壳下——一张配了搞笑文字的女性图片，一个暗示"女人就该待在厨房"的段子，表面看起来只是玩笑，实则在一点一点地侵蚀着社会对性别平等的认知。已有研究证明，长期暴露在这类内容中会让女性产生焦虑、自我审查，进而退出公共话语空间。正因如此，能够自动识别出这类内容的AI系统，就成了维护网络环境的重要工具。

然而，教AI"看懂"表情包并不容易。表情包的意思并不像一篇新闻那样直白，它的含义往往从图片和文字的碰撞中产生——有时候单看图是无害的，单看文字也没问题，但两者合在一起就成了歧视性内容。此外，性别歧视本身就是一个充满争议的话题，不同的人对同一张表情包可能有截然不同的判断。这支来自瑞士、德国、意大利的研究团队，正是针对这两大核心难题设计了他们的解决方案。他们在EXIST 2026评测赛中，在最难的子任务上拿到了第一名，在另外两个子任务上也都排进了前四，这篇文章将带你完整了解他们是怎么做到的。

一、表情包为什么让AI头疼

要理解这项研究解决了什么问题，先要明白表情包在AI眼里有多复杂。普通的文字分类任务，就像让AI判断一封邮件是不是垃圾邮件，输入的内容是明确的文字，意思也相对直白。但表情包不同，它是图片和文字的混合体，而且这两者之间的化学反应才是意义的来源。

研究团队在论文中举了一类典型情况：当毒性或歧视性仅仅来自于图文交互时，那些只看图或只看字的AI系统就会彻底失败。这并非理论推测，而是已经被学界多次证实的现象。早在2022年的SemEval评测（一个国际自然语言处理竞赛）和Meta公司发起的"有害表情包挑战"中，研究者就发现单模态系统在这类任务上表现糟糕。

更难的地方在于，性别歧视的判断本身就充满主观色彩。同一张表情包，拿给十个人看，可能有七个人觉得有问题，三个人觉得没什么。传统的机器学习方式会直接把这七票少数归为"正确答案"，把那三票少数直接丢掉。但这种做法有一个根本性的缺陷：它假装这个世界是非黑即白的，而抹掉了真实存在的模糊地带与少数声音。

这支团队的核心思路，是让AI不去做一个武断的法官，而是像一个诚实的统计员，如实呈现"有多少人认为这是歧视、有多少人认为不是"。这种做法有个学术名字，叫做"从分歧中学习"（Learning with Disagreement，简称LeWiDi）。

二、这场比赛到底在考什么

EXIST 2026是一个专门评测性别歧视内容识别系统的国际竞赛，由多所欧洲大学和研究机构组织。这次比赛提供了3984张训练用表情包和1053张测试用表情包，内容涵盖英语和西班牙语，西班牙语约有2519张，英语约有2518张，总计5037张。

比赛设置了三个层层递进的子任务，难度依次升高。第一个任务是最基础的二分类：这张表情包是不是有性别歧视？回答是或否。第二个任务只针对已经被判定为有歧视的表情包，进一步判断它的"意图"——是"主动传播歧视"（DIRECT），还是"批判和谴责歧视行为"（JUDGEMENTAL）？这个区分非常微妙，因为一张讽刺歧视的表情包和一张真正宣扬歧视的表情包，画面内容可能几乎一样，区别只在于创作者的立场。第三个任务也只针对有歧视的表情包，要求给它打上更细致的分类标签，总共有五种类型，分别是：否认性别不平等的意识形态内容、强化刻板印象与男性主导地位的内容、将女性物化的内容、包含性暴力的内容，以及表达仇恨或非性暴力的内容。而且同一张表情包可以同时属于多个类别。

这三个任务之间存在天然的层级依赖关系——如果一张表情包在第一关就被判定为"无歧视"，那第二关和第三关对它来说就没有意义。这种层级结构，后来成为研究团队系统设计的核心出发点。

比赛还提供了一个非常特别的评测轨道，叫做"Soft-Soft"，专门评估系统预测的概率分布与真实标注者分布之间的差距。打个比方，如果真实情况是十个标注者中有七个觉得有歧视、三个觉得没有，那么预测结果"70%有歧视、30%没有"就比"100%有歧视"更接近真相，即便两者在最终决策上可能给出同样的答案。

此外，比赛还提供了标注者的生理数据作为辅助信息，包括脑电图（EEG）、眼动数据和心率数据，这些都是标注者在观看表情包时采集到的生理反应。研究团队专门对这些数据的价值进行了严格的统计检验。

三、生理数据能帮上忙吗

这是整个研究中一个很有意思的探索支线。EXIST 2026是第一届提供生理数据的评测，组织者认为标注者在看到歧视性内容时，脑电、眼动和心率等生理反应可能蕴含着额外的信号，帮助AI更好地理解哪些内容让人产生了不适感。

研究团队对此进行了认真的实证检验。他们优先分析了脑电数据，理由是脑电拥有最高的特征维度（16个通道、5个频段，共80个特征），而且神经科学领域已经积累了大量证据，表明脑电信号能反映人对内容的内隐认知评价。相比之下，眼动数据本质上是一个二维的注视轨迹，心率只是一个单一的数值，这两者更多反映的是视觉注意和生理唤醒状态，而不是对歧视内容的具体认知判断。基于这一考量，团队对眼动和心率没有进行同样深度的统计分析，留待未来研究探索。

对于脑电数据，团队先用主成分分析（PCA）将80个特征压缩成21个最有代表性的成分，保留了约95%的信息量，然后用多变量方差分析（MANOVA）检验这些脑电成分能否区分不同标签分组的样本。

结果相当明确：对于任务一和任务三，脑电数据根本没有显示出任何统计意义上的区分能力，随机置换检验的p值分别高达0.60和0.49，说明这些脑电特征和任务标签之间没有线性关联。任务二的结果略有不同，达到了统计显著（置换检验p值为0.0010），但效应量极其微弱——Wilks' λ接近1（0.9946），偏η?小于0.01。更关键的是，经过Bonferroni多重比较校正（校正阈值为6.25×10??）之后，80个脑电通道中没有一个能够单独存活下来。

换句话说，脑电数据虽然在统计意义上对任务二"微弱显著"，但实际上几乎提供不了什么有用的判别信息。研究团队因此做出了一个务实的决定：放弃生理数据，专注于语义表示。这并不是说生理数据一定没用，只是当前提供的线性特征表示下，它的价值不足以支撑模型改进。非线性融合的潜力，团队坦诚地留给了未来的研究者。

四、核心武器：冻结的"万能翻译机"

既然生理数据靠不住，研究团队把全部赌注押在了语义表示上。他们的核心工具是谷歌的Gemini Embedding 2模型，一个在2026年发布的原生多模态嵌入模型。

可以把这个模型理解成一台"万能翻译机"——不管输入的是图片还是文字，甚至是图文混合的表情包，它都能将其翻译成一个由768个数字组成的向量。这个向量就像一张精密的"内容指纹"，语义相近的内容对应的向量也彼此相近。关键在于，这台"翻译机"是提前训练好的、被冻结的——研究团队不会去改动它，只是借用它产生的"指纹"，然后在"指纹"的基础上训练自己的判断系统。

为什么要冻结而不微调？这是一个非常实际的考量。可用的训练数据只有3984张表情包，相对于一个大型多模态模型的参数量来说，这个数据量实在太小了。在这么少的数据上强行微调一个庞大的模型，极容易产生"过拟合"——用个比喻，就像只用五道题的答案去记忆一本教材，然后发现考试时只会背答案而不会举一反三。冻结模型、只在顶层训练轻量模块，是一种在小数据场景下保持泛化能力的成熟策略。

五、轻量化的"门控大脑"

有了768维的"内容指纹"之后，研究团队并没有直接把它送进分类器，而是先用一个轻量级的神经网络模块对它进行处理，这个模块叫做"门控多层感知机"（Gated MLP），核心组件是SwiGLU模块。

SwiGLU听起来很技术，但背后的直觉其实相当清晰。普通的神经网络会把输入的所有信息都平等地向前传递，但SwiGLU有一个"门"——它会根据内容决定哪些信息值得被放大传递、哪些信息应该被压制。在这个任务里，直觉上这个"门"应该会学会放大那些反映图文交叉歧视信号的特征，同时压制那些与性别歧视无关的内容特征（比如表情包的美术风格）。

整个可训练部分只有350万个参数。作为参考，GPT这类大模型动辄有数十亿甚至数千亿参数，350万参数的模型训练起来非常快，对计算资源的要求也极低。这种"小而精"的设计哲学，贯穿了整个系统。

六、层层递进的"条件判断链"

研究团队系统最精妙的设计，在于它如何处理三个任务之间的层级关系。

整个系统可以用一个生活化的比喻来理解：这像是一个三级法庭。第一级法院负责判决"这件事是不是犯罪"，如果一审判决无罪，案件就此终结，二审和三审根本不会启动；如果一审判有罪，才会进入二审法院判断"犯罪动机是主动还是被迫"，以及三审法院判断"具体犯了哪几条罪"。

在技术实现上，这种层级关系通过两种机制来保证。第一种叫做"条件损失遮蔽"：在训练时，对于那些被标注为"无歧视"的表情包，第二和第三个分类头的损失函数会被掩盖掉，不产生梯度更新。这样可以防止无歧视样本对"犯罪动机"和"具体类型"这两个分类器产生错误的训练信号。第二种是"联合概率解码"：在推理时，第二和第三个子任务的最终概率会乘以第一个任务的"是否有歧视"概率。这意味着，如果一张表情包只有30%的可能性是有歧视的，那么"属于物化女性类别"的概率也会按比例缩减，而不是假装歧视是确定存在的。

研究团队还额外测试了一种更激进的架构变体，叫做"分离软门控"（Detached Soft-Gating）。在这个变体里，第一个任务预测出来的"歧视概率"，会直接与神经网络中间层的表示相乘，作为一个实时的"门"来抑制非歧视内容在后续头部的激活。为了防止这个门的操作反过来干扰第一个任务的训练，研究团队使用了"停止梯度"操作，让乘法门不参与反向传播。这个变体作为第三个提交运行（Run 3）参与了评测。

七、让AI学会表达"不确定性"

这个系统还有一个极具特色的训练机制，叫做"同方差不确定性加权"（homoscedastic uncertainty weighting）。

三个子任务的难度差异很大，收敛速度也不同——任务一相对简单，任务三难度最高。如果对三个任务的损失函数用固定的权重求和，就好比用同样的力气去拧大螺丝和小螺丝，效果必然不理想。研究团队的解决方案是给每个任务的损失函数配一个可以自动学习的"方差参数"σ?。

这个机制的工作原理很优雅：当某个任务的损失居高不下时，对应的σ?会自动增大，从而减少这个难任务在总损失中的占比，让模型不会因为一个特别难的任务而放弃其他任务；与此同时，公式中有一个log σ?的惩罚项，防止σ?无限增大、彻底放弃某个任务。整个过程完全自动，不需要人工去尝试各种权重组合。

与此同时，每个任务的分类头都使用KL散度（Kullback-Leibler divergence）作为损失函数，而不是常见的交叉熵。KL散度专门用来衡量两个概率分布之间的差距——在这里，就是衡量模型预测的标注者分布与真实标注者分布之间的差距。每次预测偏离真实分布，KL散度就会产生惩罚，推动模型去学习真实的分歧模式，而不是简单地押注于多数意见。对于任务三的五个类别，研究团队对每个类别单独计算二元KL散度，然后取平均。

八、训练细节与三次提交

研究团队将训练数据按照8:1:1的比例划分为训练集、验证集和测试集，划分时按照任务一的多数标签做分层采样，确保三个子集中歧视/非歧视样本的比例一致。

优化器选用了AdamW，学习率设为0.0001，权重衰减为0.01，批大小为8。学习率调度采用OneCycleLR策略：先用30%的训练步骤做预热，让学习率从低到高逐渐爬升，然后用余弦退火让学习率平滑下降至终点。训练过程使用了bf16混合精度，并在验证集损失不再下降时提前停止。

最终提交了三次运行：Run 1和Run 2是使用不同随机种子训练的基础门控MLP模型，Run 3是加入了分离软门控的变体。在推理阶段，Soft-Soft轨道直接输出概率分布；Hard-Hard轨道则以0.5为阈值做决策，不进行任何任务特定的阈值调优。对于任务三，如果所有类别概率都低于0.5（即预测为"有歧视但无具体类别"），则自动选择概率最高的那个类别，以满足"有歧视的表情包至少属于一个类别"的本体论约束。

九、比赛结果：赢在最难的地方

从本地测试集的评估结果来看，三次运行之间存在明显的随机种子方差，这在数据量小、标注分歧高的任务中是相当正常的现象。Run 2在任务三的软标签评估（ICM-S Nr = 0.3356）上表现最好，Run 1在任务二的软标签评估（ICM-S Nr = 0.4367）上领先，而Run 3的门控变体在任务二上取得了最高的ICM-S归一化得分（ICM-S Nr = 1.5426），但整体表现与基础架构相当，并没有显示出架构级的明显优势。这说明层级约束通过条件损失遮蔽和联合概率解码就能有效实现，不需要额外的架构改造。

在官方Soft-Soft排行榜上，这支团队的三次提交在任务二·一上分别排名第4、5、6，在任务二·二上排名第4、5、7，在任务二·三上则包揽了前三名，其中Run 2以ICM-Soft归一化得分0.3469位列第一。在官方Hard-Hard排行榜上，三次提交在任务二·一上排名第14、18、19，在任务二·二上排名第12、13、17，在任务二·三上排名第8、9、13。

软标签排名明显优于硬标签排名，这完全在预料之中——这个系统从设计之初就是为了软标签预测而优化的，硬标签解码只是在软标签概率上套了个简单的0.5阈值，没有做任何专门的校准。这意味着如果针对硬标签任务做专项优化（比如用验证集调整最优阈值），排名还有相当大的提升空间。

归根结底，这项研究证明了一件事：在判断那些模糊、主观、充满文化隐喻的表情包内容时，与其训练一个自以为是的裁判，不如训练一个诚实的概率统计员。用一个很小的可训练模型（350万参数）搭配一个冻结的强大"翻译机"，不在有限的数据上强行微调庞然大物，反而在最难的子任务上拿到了第一。这背后的逻辑不复杂：数据不够多的时候，谦逊比蛮力更有效。

当然，这个系统也有它诚实承认的不足。它依赖Gemini Embedding 2这个专有商业模型，意味着其他研究者想要完全复现时会遇到障碍（尽管模块化的架构设计让替换成开源模型变得相对容易）。硬标签解码没有做任务特定的优化，Hard-Hard结果不代表系统性能的上限。生理数据的非线性融合潜力也仍然是一个完全开放的探索方向——也许用更复杂的方式处理脑电和眼动数据，真的能挖掘出传统线性方法看不见的信息。这些都留给了未来的研究者。

Q&A

Q1：EXIST 2026比赛中的"Soft-Soft"评测轨道是什么意思？

A：Soft-Soft评测轨道要求AI系统不是给出一个单一的是或否答案，而是预测出一个概率分布，反映"有多少比例的标注者认为这张表情包有性别歧视"。评测时，系统预测的分布与真实标注者分布之间的差距越小，得分越高。这种方式保留了真实世界中人类判断的模糊性和分歧信息，而不是强行把所有问题变成非黑即白的决策。

Q2：Gemini Embedding 2在这个研究里扮演什么角色？

A：Gemini Embedding 2相当于一台"万能翻译机"，能把图文混合的表情包转化成一个由768个数字组成的向量（内容指纹）。研究团队不对这个模型做任何修改，只是借用它产生的向量，然后在上面训练自己的轻量分类系统。这样做的原因是训练数据只有约4000张，直接微调大模型容易过拟合。

Q3：脑电图数据为什么最终没有被用到模型中？

A：研究团队对脑电数据做了严格的统计检验，发现对于三个子任务中的两个，脑电特征完全没有统计意义上的区分能力。对第二个子任务虽然有微弱的统计显著性，但实际效应量极小，且80个脑电通道在Bonferroni校正后无一存活。也就是说，在当前的线性特征表示框架下，脑电数据提供不了足够有用的判别信息，团队因此选择放弃，转而专注于语义特征。