AI 幻觉：记忆能否提供答案？
原文：towardsdatascience.com/ai-hallucinations-can-memory-hold-the-answer-5d19fd157356。
原文：
towardsdatascience.com/ai-hallucinations-can-memory-hold-the-answer-5d19fd157356
|LLM|HALLUCINATION|MEMORY|
由作者使用 AI 创建的图像
幻觉是一个事实，而不是错误；错误的是基于它的判断。 —— 伯特兰·罗素
大型语言模型（LLM） 表现出卓越的性能，但仍然受到幻觉 的困扰。特别是对于敏感的应用，这并非小问题，因此已经研究了多种解决方案。尽管一些缓解策略有助于减少幻觉，但问题仍然存在。
为什么幻觉 产生仍然是一个未解之谜，尽管有一些关于导致其出现的原因的理论（例如，上下文幻觉等）。在一篇最近的文章中提出的一个有趣的观点是，人类和模型中幻觉的定义是不同的。在人类中，它被定义为幻觉：
“当你听到、看到、闻到、尝到或感觉到似乎真实但只存在于你心中的事物时” —— 来源
因此，作者试图将 LLM 中幻觉的发生与心理学概念[2]相一致。想法是使用更合适的词汇来描述这些现象：
我们对“幻觉”这一术语的传统用法进行偏离，并非仅仅是一种语义练习；相反，它是一种旨在增强我们对高级语言模型面临的局限性和挑战理解的故意手段。 —— 来源
<…/Images/2b464b9157f322007359935ff40b789b.png>
图像来源：此处 [2]
从心理学角度来看，这些定义显示了与记忆概念的联系，因此一些作者决定为 LLM 提供记忆。
最受欢迎的方法之一是提供外部内存的概念。检索增强生成 (RAG) 是最流行的范式，其中在外部内存中寻找与查询相关的信息。然后使用检索到的上下文进行生成。
然而，存在一些替代方案，其中包含具有读写访问权限的内存。实际上，LLMs 继承了与 transformer 相同的限制，包括无法更新 LLM 的知识。为了保持相关性，我们需要一个系统，允许我们删除不希望、不正确或过时的信息，同时添加新信息。微调是一个昂贵的解决方案，但如果我们要经常更新模型的“记忆”，则不切实际。
另一种方法是进行编辑，同时保持原始冻结模型。其中最有趣的方法之一是通用检索适配器用于持续编辑（GRACE）[4]。我们不是编辑模型的权重，而是编辑适配器的权重。这些适配器与模型的层相互连接，并针对选择输入修改层间转换。
<…/Images/1464cabaf24bb2f3f433630fb30855b6.png>
图片来源：这里 [4]
与之相反，对于人类来说，既可以对知识进行更新，也可以用它来对未见过的数据进行泛化。通常，这种能力是由海马体提供的，这对于情景记忆很重要（海马体适用于快速学习，而新皮层适用于慢速学习）。
受到这个想法在这篇论文中的启发，他们提出了 Larimar [3]，一类具有情景记忆控制的模型。换句话说，控制器在学习情景记忆的同时，LLM（慢速记忆）学习输入分布的汇总统计。控制器充当事实更新的全局存储，并在生成中条件化 LLM。这个全局记忆可以被读取和重写。该系统是一个编码器-解码器 Transformer，其中输出用于写入记忆或搜索记忆中的信息以发送给解码器。
<…/Images/66b8e8bde5373616023fdacdf6cbd0d7.png>
图片来源：此处 [3]
持续学习机制和模型重新校准可以使 LLM 能够适应并自我纠正以应对不断变化的信息。来源
我们现在有了可以编辑自己记忆的模型，我们可以测试这能否改善幻觉问题。在这项工作[1]中，他们使用幻觉基准数据集测试了这个假设。WikiBio 是通过使用GPT-3为 238 个主题生成类似维基百科的传记获得的。
在这里，作者测试了两种模型：
-
Larimar，由一个BERT大型编码器、一个记忆矩阵（已经用来自 wiki-text 的 7.6 M 条目进行训练）和一个GPT2-large作为解码器构建而成。
-
GRACE 模型，GPT2-XL 已经微调完成。
在这项任务中，作者使用从维基百科获得的幻觉条目后的修正条目。通过这种方式，他们向模型（更新 Larimar 中的矩阵或进行 GRACE 中的适配器编辑）提供信息。然后他们要求模型为提示生成输出，从而生成一个新的 WikiBio 条目。
<…/Images/ad2a21ed545e4c0ede421de458f984d8.png>
图片来源：此处 [1]
如您从图中所示，在 Larimar 中，模型可以重写记忆、从中读取或直接生成。作者指出，您可以强制模型在管道的各个阶段对潜在表示进行对齐。简单来说，就是对齐记忆中的书写表示和读取表示。这种对齐使得减少幻觉成为可能。
<…/Images/c8588536286defff7432e5cecbefde78.png>
图片来源：此处 [1]
一个更好的幻觉分类法使我们能够更好地解释幻觉是如何产生的。例如，在发表在《自然》杂志上的一项最近的研究 [5]中，他们关注了虚构（之前定义为一种可信但误导性的输出，是幻觉的一种亚型）。
我们展示了如何通过开发一个量化指标来检测虚构，该指标衡量输入何时可能导致 LLM 生成任意和没有根据的答案。检测虚构允许基于 LLM 构建的系统避免回答可能导致虚构的问题，让用户意识到问题的答案不可靠，或者用更基于事实的搜索或检索来补充 LLM。 – 来源
<…/Images/f5669b0b54036ccd011a6e5f4453620e.png>
图片来源：这里 [2]
这表明幻觉是一个异质家族，很难找到一种解决方案来解决所有类型。
同时从记忆的角度来讨论它，可以发展出减少幻觉的方法。添加外部记忆不仅影响持续学习，还能减少幻觉。这些方法引人入胜，并显示出对解决 Transformer 限制的替代解决方案的兴趣。
你怎么看？好奇尝试这些方法吗？在评论中告诉我
如果你对此感兴趣：
你可以查找我的其他文章，你还可以在 LinkedIn 上与我联系或联系我。检查 这个仓库，其中包含每周更新的 ML & AI 新闻。我开放合作和项目，你可以在 LinkedIn 上联系我。你还可以 免费订阅 以在发布新故事时获得通知。
以下是链接到我的 GitHub 仓库，我在那里收集与机器学习、人工智能等相关代码和许多资源。
或者你可能对我的最近的文章感兴趣：
参考文献
这里是撰写本文时我参考的主要参考文献列表，仅引用了文章的第一名。
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
12
0- 0
已为社区贡献251条内容
所有评论(0)