在大模型部署与安全愈发受到重视的今天，如何让模型“遗忘”某些特定知识（如敏感信息、版权内容或有偏差的数据）成为一个新兴的研究方向。一个核心的技术争论点是：我们该从哪个关键层入手？是扮演“信息路由”角色的注意力层，还是作为“知识存储与处理中心”的前馈网络层？

1. 背景：模型中的知识存储在哪？

要回答修改哪一层更有效，我们首先需要理解Transformer架构中不同层扮演的角色。

• 自注意力层 (Self-Attention Layer)：其核心功能是计算上下文依赖关系。它通过查询（Query）、键（Key）、值（Value）机制，决定在当前上下文中哪些部分（Token）需要被重点关注和聚合。它更像是一个信息路由器或选择器，而非知识的永久存储仓库。
• 前馈网络层 (Feed-Forward Network, FFN)：这是一个应用于每个位置（Token）的独立多层感知机（通常是两层）。研究表明，FFN层（特别是其中的中间层）行为类似于键值记忆网络。其中存储了大量在训练中学到的事实性知识、概念和语言模式。它更像模型的“知识库”或“记忆体”。

2. 理论分析：遗忘的切入点

基于上述分工，我们可以进行逻辑推演：

• 修改注意力层的影响：如果目标是让模型不再关联某些特定概念，例如打破“A公司 -> 产品B”这种条件反射式的联系，调整注意力权重可能有效。这相当于改变了模型对信息的“调度策略”，但它并没有擦除“A公司”和“产品B”这两个概念本身的知识。模型可能仍知道它们，只是不再轻易将它们联系起来。
• 修改FFN层的影响：如果目标是直接抹去或改变某一特定事实性知识（例如，“中国的首都是北京”），那么直接定位并修改FFN中存储该知识的神经通路（如通过编辑中间层的特定神经元）理论上更为直接和彻底。这相当于从“知识库”中删改了一条记录。

核心比喻：
想象一个图书馆（模型）。

• FFN层是书库，里面存放着具体的书籍（知识）。
• 注意力层是图书管理员和检索系统，它决定根据你的问题（查询），从哪些书（键）里提取哪些内容（值）来合成答案。

要“忘记”一本书的内容，你应该去书库（FFN）里找到并移除/修改那本书，而不是仅仅调整管理员的检索习惯（注意力）。

3. 实验证据与研究现状

近年来的研究为“FFN层是主要知识存储地”这一观点提供了有力支持：

1. 知识神经元定位：诸如知识神经元 (Knowledge Neurons) 等方法能够成功地在FFN层的中间维度上定位到与特定事实相关的、高度可解释的神经元。通过操控这些神经元，可以精准地更新或抹除模型对特定事实的记忆。
2. 模型编辑技术：主流的模型编辑方法（如ROME, MEMIT）主要针对FFN层进行操作。它们通过最小化干预，在FFN层注入新的键值对，以覆盖旧的知识，实现安全、可控的模型更新。这些方法的成功，从实践上证明修改FFN层是实现知识遗忘/更迭的有效途径。
3. 注意力层的鲁棒性：尝试直接大规模修改注意力头的权重通常会导致模型整体性能（如语言建模能力）的严重下降，且对改变特定知识的针对性不强，副作用大。

4. 结论与工程实践建议

综合理论与实证，我们可以得出结论：

若要精准、高效地让模型忘记特定事实性知识，修改FFN层（特别是其中间层）是更直接、更有效的策略。

实践指导：

1. 首选策略：采用基于FFN的模型编辑技术（如ROME, MEMIT）。这些方法提供了定位和修改的完整框架，能在最小化副作用的前提下实现知识遗忘。
2. 注意力层的辅助作用：在需要模型改变对某些模式或关联的“推理习惯”时（例如，减轻性别/种族职业偏见），可能需要对注意力机制进行微调或约束。这通常作为FFN知识编辑的补充。
3. 遗忘的代价：需要清醒认识到，任何形式的参数修改都可能引发“灾难性遗忘”或对相关领域的性能干扰。彻底的“遗忘”在数学上可能等价于“用新知识覆盖”，并且需要在精确性（只忘目标知识）、泛化性（在所有相关上下文都忘）、保持性（不影响其他知识） 三者间做出权衡。

未来展望

模型遗忘/编辑技术仍处于早期阶段。未来的方向可能包括：

• 开发更精准的跨层编辑技术（同时考虑FFN和注意力）。
• 研究更安全的遗忘评估基准。
• 探索在模型训练初期就引入可逆、可编辑的架构设计。

总而言之，当你需要对大模型进行“记忆手术”时，FFN层应该是你的首要手术台，而注意力层则是需要谨慎调整的“神经系统”。

参考文献/延伸阅读：

1. Dai, D., et al. “Knowledge Neurons in Pretrained Transformers.” arXiv preprint arXiv:2104.08696 (2021).
2. Meng, K., et al. “Locating and Editing Factual Associations in GPT.” Advances in Neural Information Processing Systems (2022).
3. Mitchell, E., et al. “Fast Model Editing at Scale.” International Conference on Learning Representations (2023).