A-MEM是一种新型的面向大语言模型智能体的智能记忆系统,它能够以智能体驱动的方式动态组织记忆,遵循卡片盒笔记法(Zettelkasten)的基本原理,通过动态索引和链接构建相互关联的知识网络。新记忆会自动触发链接生成和记忆进化操作,使记忆网络能够不断完善其理解。实验结果表明,A-MEM在六个基础模型上的性能相较于现有的最先进基线方法有显著改进。



今天再来看一篇关于LLM+Agent+Memory 的文章:《A-Mem: Agentic Memory for LLM Agents》,下面是文章详解部分:

摘要

尽管大语言模型(LLM)智能体能够有效利用外部工具处理复杂的现实世界任务,但它们需要记忆系统来利用历史经验。当前的记忆系统虽能实现基本的存储和检索功能,但缺乏完善的记忆组织方式 —— 尽管近年来已有研究尝试整合图数据库。此外,这些系统的固定操作和结构限制了其在不同任务中的适应性。为解决这一局限,本文提出了一种新型的面向大语言模型智能体的智能记忆系统,该系统能够以智能体驱动的方式动态组织记忆。遵循卡片盒笔记法(Zettelkasten)的基本原理,我们设计的记忆系统通过动态索引和链接构建相互关联的知识网络。当添加新记忆时,我们会生成包含多个结构化属性的综合笔记,包括上下文描述、关键词和标签。随后,系统会分析历史记忆以识别相关联系,并在存在有意义的相似性时建立链接。此外,这一过程还支持记忆进化 —— 随着新记忆的整合,它们会触发对现有历史记忆的上下文表示和属性的更新,使记忆网络能够不断完善其理解。我们的方法结合了卡片盒笔记法的结构化组织原则与智能体驱动决策的灵活性,实现了更具适应性和上下文感知的记忆管理。在六个基础模型上的实证实验表明,该系统相较于现有的最先进基线方法有显著改进。

基准测试代码:
https://github.com/WujiangXu/A-mem
可用于生产环境的智能记忆系统代码:
https://github.com/WujiangXu/A-mem-sys

1 引言

大语言模型(LLM)智能体在各类任务中展现出了卓越的能力,近年来的进展使其能够与环境交互、执行任务并自主做出决策 [23, 33, 7]。它们将大语言模型与外部工具及精细的工作流程相结合,以提升推理和规划能力。尽管大语言模型智能体具有强大的推理性能,但仍需要记忆系统来提供与外部环境的长期交互能力 [35]。

现有的大语言模型智能体记忆系统 [25, 39, 28, 21] 仅提供基本的记忆存储功能。这些系统要求智能体开发者预先定义记忆存储结构、指定工作流程中的存储点,并确定检索时机。同时,为了改进结构化记忆组织,Mem0 [8] 遵循检索增强生成(RAG)[9, 18, 30] 的原理,将图数据库整合到存储和检索过程中。尽管图数据库为记忆系统提供了结构化组织,但它们对预定义模式和关系的依赖从根本上限制了适应性。这一局限在实际场景中体现得十分明显 —— 当智能体学习一种新的数学解法时,现有系统只能在其预设框架内对这些信息进行分类和链接,无法随着知识的演变建立创新性关联或形成新的组织模式。这种僵化的结构,再加上固定的智能体工作流程,严重限制了这些系统在新环境中的泛化能力,以及在长期交互中的有效性。随着大语言模型智能体处理的任务越来越复杂、开放性越来越强(这些任务亟需灵活的知识组织和持续的适应性),这一挑战变得愈发关键。因此,如何设计一个灵活通用的记忆系统,以支持大语言模型智能体的长期交互,仍是一项重要的挑战。

在本文中,我们提出了一种新型智能记忆系统 A-MEM,专为大语言模型智能体设计,无需依赖静态、预先设定的记忆操作,就能实现动态的记忆结构化。我们的方法灵感来源于卡片盒笔记法(Zettelkasten)[15, 1],这是一种复杂的知识管理系统,通过原子化笔记和灵活的链接机制构建相互关联的信息网络。我们的系统引入了一种智能记忆架构,使大语言模型智能体能够自主灵活地管理记忆。对于每个新记忆,我们构建综合笔记,整合多种表征:包括多个属性的结构化文本属性,以及用于相似性匹配的嵌入向量。随后,A-MEM 会分析历史记忆库,基于语义相似性和共享属性建立有意义的关联。这一整合过程不仅会创建新的链接,还能实现动态进化 —— 当新记忆被整合时,它们会触发对现有记忆上下文表征的更新,使整个记忆系统能够随着时间的推移不断完善和深化理解。本文的贡献总结如下:

  • 我们提出了 A-MEM,一种面向大语言模型智能体的智能记忆系统,能够自主生成上下文描述、动态建立记忆关联,并基于新经验对现有记忆进行智能进化。该系统无需预先设定记忆操作,就能为大语言模型智能体提供长期交互能力。
  • 我们设计了一种智能记忆更新机制,新记忆会自动触发两个关键操作:链接生成和记忆进化。链接生成通过识别共享属性和相似的上下文描述,自动建立记忆之间的关联。记忆进化使现有记忆能随着新经验的分析动态适应,从而催生出更高阶的模式和属性。
  • 我们使用长期对话数据集对系统进行了全面评估,在六个基础模型上采用六种不同的评估指标进行性能比较,结果显示有显著提升。此外,我们还提供了 T-SNE 可视化结果,以展示我们智能记忆系统的结构化组织。

2 相关工作

2.1 大语言模型智能体的记忆

关于大语言模型智能体记忆系统的现有研究,已经探索了多种记忆管理和利用机制。一些方法通过密集检索模型 [39] 或读写记忆结构 [24] 来完成交互存储,从而维护全面的历史记录。此外,MemGPT [25] 利用类缓存架构来优先处理近期信息。类似地,SCM [32] 提出了一种自我控制记忆框架,通过记忆流和控制器机制增强大语言模型的长期记忆保持能力。然而,这些方法在处理多样化的现实世界任务时存在显著局限性。尽管它们能提供基本的记忆功能,但其操作通常受到预定义结构和固定工作流程的限制。这些限制源于它们对僵化操作模式的依赖,尤其是在记忆写入和检索过程中。这种不灵活性导致它们在新环境中的泛化能力较差,在长期交互中的有效性也有限。因此,设计一个灵活通用的记忆系统以支持智能体的长期交互,仍是一项重要的挑战。

2.2 检索增强生成

检索增强生成(RAG)作为一种通过整合外部知识源来增强大语言模型能力的有效方法应运而生 [18, 6, 10]。标准的 RAG [37, 34] 流程包括将文档索引为块、基于语义相似性检索相关块,以及将检索到的上下文添加到大语言模型的提示中以辅助生成。先进的 RAG 系统 [20, 12] 已经发展到包含复杂的检索前和检索后优化。在这些基础上,近期研究引入了智能检索增强生成系统,在检索过程中展现出更强的自主性和适应性。这些系统能够动态决定何时检索以及检索什么 [4, 14],生成假设性响应来指导检索,并基于中间结果迭代优化搜索策略 [31, 29]。

然而,尽管智能检索增强生成方法在检索阶段展现出智能性(通过自主决定何时检索以及检索什么 [4, 14, 38]),我们的智能记忆系统通过记忆结构的自主进化,在更基础的层面展现出智能性。受卡片盒笔记法的启发,我们的系统允许记忆主动生成自身的上下文描述,与相关记忆建立有意义的关联,并随着新经验的出现不断进化自身内容和关系。这种在智能性上的根本区别 —— 检索层面的智能性与存储和进化层面的智能性 —— 使我们的方法有别于智能检索增强生成系统,后者尽管拥有复杂的检索机制,但仍维持着静态的知识库。

图 1 说明:

(a)传统记忆系统:大语言模型智能体、记忆、读取、写入、交互、环境
(b)我们提出的智能记忆:大语言模型智能体、智能记忆、读取、写入、交互、环境

图 1:传统记忆系统需要在工作流程中预先定义记忆访问模式,限制了其对多样化场景的适应性。相比之下,我们的 A-MEM 通过支持动态记忆操作,增强了大语言模型智能体的灵活性。

3 方法

我们提出的智能记忆系统灵感来源于卡片盒笔记法,实现了一种动态自进化的记忆系统,使大语言模型智能体无需预先设定操作就能维持长期记忆。该系统的设计强调原子化笔记、灵活的链接机制和知识结构的持续进化。

3.1 笔记构建

基于卡片盒笔记法的原子化笔记和灵活组织原则,我们引入了一种由大语言模型驱动的记忆笔记构建方法。当智能体与环境交互时,我们构建结构化的记忆笔记,既捕捉显性信息,也包含大语言模型生成的上下文理解。在我们的记忆集合 M={m₁, m₂, …, mₙ} 中,每个记忆笔记 mᵢ表示为:

mᵢ = {cᵢ, tᵢ, Kᵢ, Gᵢ, Xᵢ, eᵢ, Lᵢ} (1)

其中,cᵢ代表原始交互内容,tᵢ是交互的时间戳,Kᵢ表示大语言模型生成的、捕捉关键概念的关键词,Gᵢ包含大语言模型生成的用于分类的标签,Xᵢ是大语言模型生成的提供丰富语义理解的上下文描述,Lᵢ用于维护具有语义关系的关联记忆集合。为了给每个记忆笔记增添超出基本内容和时间戳的有意义上下文,我们利用大语言模型对交互进行分析并生成这些语义组件。笔记构建过程涉及使用精心设计的模板 Pₛ₁提示大语言模型:

Kᵢ, Gᵢ, Xᵢ ← LLM(cᵢ ∥ tᵢ ∥ Pₛ₁) (2)

遵循卡片盒笔记法的原子性原则,每个笔记只捕捉一个独立完整的知识单元。为了实现高效检索和链接,我们通过文本编码器 [27] 计算密集向量表征,封装笔记的所有文本组件:

eᵢ = fₑₙc[concat(cᵢ, Kᵢ, Gᵢ, Xᵢ)] (3)

通过使用大语言模型生成丰富的组件,我们实现了从原始交互中自主提取隐性知识。多维度的笔记结构(Kᵢ, Gᵢ, Xᵢ)创建了丰富的表征,捕捉记忆的不同方面,有助于细致的组织和检索。此外,大语言模型生成的语义组件与密集向量表征相结合,既提供了上下文信息,又实现了计算高效的相似性匹配。

图 2:我们的 A-MEM 架构在记忆存储方面包含三个组成部分。在笔记构建阶段,系统处理新的交互记忆,并将其作为具有多个属性的笔记进行存储。链接生成过程首先检索最相关的历史记忆,然后利用大语言模型(LLM)判断是否应在它们之间建立联系。“盒子” 这一概念描述的是,相关记忆通过相似的上下文描述相互关联,这与卡片盒笔记法(Zettelkasten)类似。不过,我们的方法允许单个记忆同时存在于多个不同的 “盒子” 中。在记忆检索阶段,我们使用文本编码模型提取查询嵌入,并在记忆数据库中搜索相关匹配。当检索到相关记忆时,同一 “盒子” 内相互链接的相似记忆也会被自动访问。此外,大语言模型生成的语义组件与密集向量表示相结合,既提供了上下文信息,又实现了计算高效的相似性匹配。

3.2 链接生成

我们的系统实现了一种自主链接生成机制,使新的记忆笔记能够在没有预定义规则的情况下建立有意义的联系。当构建好的记忆笔记mn
被添加到系统中时,我们首先利用其语义嵌入进行基于相似性的检索。对于每个现有记忆笔记mj ∈ M
,我们计算相似性分数:

然后系统识别出最相关的前k个记忆:

基于这些候选的最近邻记忆,我们提示大语言模型根据它们潜在的共同属性分析可能的联系。形式上,记忆mn的链接集更新如下:

每个生成的链接li的结构为:

通过使用基于嵌入的检索作为初始筛选,我们在保持语义相关性的同时实现了高效的可扩展性。即使在大型记忆集合中,A-MEM 也能快速识别潜在联系,无需进行 exhaustive 比较。更重要的是,大语言模型驱动的分析能够对关系进行细致的理解,这超出了简单的相似性指标的范围。该语言模型能够识别细微的模式、因果关系和概念关联,而这些仅通过嵌入相似性可能无法显现。我们在利用现代语言模型的同时,践行了卡片盒笔记法中灵活链接的原则。由此产生的网络从记忆内容和上下文中自然涌现,实现了自然的知识组织。

3.3 记忆进化

为新记忆创建链接后,A-MEM 会根据检索到的记忆的文本信息以及它们与新记忆的关系,对这些记忆进行进化。对于最近邻集合

中的每个记忆mj,系统会决定是否更新其上下文、关键词和标签。这一进化过程可形式化表示为:

进化后的记忆mj^*随后会取代记忆集合M中的原始记忆mj。这种进化方法支持持续更新和新联系的建立,模拟了人类的学习过程。随着系统不断处理更多记忆,它会形成越来越复杂的知识结构,发现多个记忆之间的高阶模式和概念。这为自主记忆学习奠定了基础,通过新经验与现有记忆之间的持续交互,知识组织变得日益丰富。

3.4 检索相关记忆

在每次交互中,我们的 A-MEM 会执行上下文感知的记忆检索,为智能体提供相关的历史信息。给定当前交互中的查询文本q,我们首先使用与记忆笔记相同的文本编码器计算其密集向量表示:

然后系统使用余弦相似性计算查询嵌入与记忆集合M中所有现有记忆笔记的相似性分数:

接着,我们从历史记忆存储中检索出最相关的k个记忆,以构建一个符合上下文的提示词。

这些检索到的记忆提供了相关的历史上下文,帮助智能体更好地理解并响应当前的交互。通过将当前交互与记忆系统中存储的相关过往经验相联系,检索到的上下文丰富了智能体的推理过程。

4 实验

4.1 数据集与评估

为了评估在长期对话中具有指令感知的推荐的有效性,我们使用了 LoCoMo 数据集 [22],与现有的对话数据集 [36, 13] 相比,该数据集包含的对话长得多。以往的数据集包含约 1000 个令牌、4-5 个会话的对话,而 LoCoMo 的对话平均长达 9000 个令牌,涵盖多达 35 个会话,这使其特别适合评估模型处理长程依赖关系和在长时间对话中保持一致性的能力。LoCoMo 数据集包含多种问题类型,旨在全面评估模型理解的不同方面:(1)单跳问题 —— 可从单个会话中找到答案;(2)多跳问题 —— 需要跨会话综合信息;(3)时间推理问题 —— 测试对与时间相关信息的理解;(4)开放域知识问题 —— 需要将对话上下文与外部知识相结合;(5)对抗性问题 —— 评估模型识别无法回答的查询的能力。总体而言,LoCoMo 在这些类别中包含 7512 个问答对。此外,我们使用了一个名为 DialSim [16] 的新数据集来评估我们记忆系统的有效性。这是一个源自长期多方对话的问答数据集。该数据集来自热门电视剧(《老友记》《生活大爆炸》和《办公室》),涵盖 1300 个会话,时间跨度为五年,包含约 350000 个令牌,每个会话包含 1000 多个问题,这些问题来自经过整理的粉丝问答网站问题和基于时间知识图谱生成的复杂问题。

在对比基线方面,我们与 LoCoMo [22]、ReadAgent [17]、MemoryBank [39] 和 MemGPT [25] 进行了比较。基线的详细介绍可参见附录 A.1。

在评估中,我们采用了两个主要指标:F1 分数(通过平衡精确率和召回率来评估答案的准确性)和 BLEU-1 [26](通过测量与真实响应的词重叠来评估生成响应的质量)。

表 1:在 LoCoMo 数据集上使用不同方法针对五类问答任务(单跳、多跳、时间推理、开放域和对抗性)的实验结果。结果以 F1 分数和 BLEU-1(%)分数呈现。最佳性能以粗体标记,我们提出的方法 A-MEM(灰色突出显示)在六个基础语言模型上均表现出竞争性性能。

此外,我们还报告了回答一个问题的平均令牌长度。除了使用四个额外指标(ROUGE-L、ROUGE-2、METEOR 和 SBERT 相似度)报告实验结果外,我们还在附录 A.3 中呈现了使用不同基础模型(包括 DeepSeek-R1-32B [11]、Claude 3.0 Haiku [2] 和 Claude 3.5 Haiku [3])的实验结果。

4.2 实现细节

对于所有基线方法和我们提出的方法,我们通过采用相同的系统提示来保持一致性,详情见附录 B。Qwen-1.5B/3B 和 Llama 3.2 1B/3B 模型的部署是通过 Ollama¹ 进行本地实例化实现的,同时使用 LiteLLM² 管理结构化输出生成。对于 GPT 模型,我们使用官方的结构化输出 API。在我们的记忆检索过程中,为了保持计算效率,我们主要采用 k=10 进行 top-k 记忆选择,同时针对特定类别调整该参数以优化性能。k 的详细配置可参见附录 A.5。对于文本嵌入,我们在所有实验中均使用 all-minilm-l6-v2 模型。

4.3 实证结果

性能分析:在实证评估中,我们在 LoCoMo 数据集上将 A-MEM 与四个有竞争力的基线(包括 LoCoMo [22]、ReadAgent [17]、MemoryBank [39] 和 MemGPT [25])进行了比较。对于非 GPT 基础模型,我们的 A-MEM 在不同类别上始终优于所有基线,证明了我们智能记忆方法的有效性。对于基于 GPT 的模型,尽管 LoCoMo 和 MemGPT 由于在简单事实检索方面具备强大的预训练知识,在开放域和对抗性任务等特定类别中表现出色,但我们的 A-MEM 在需要复杂推理链的多跳任务中表现更优,性能至少提升了两倍。除了在 LoCoMo 数据集上的实验外,我们还在 DialSim 数据集上将我们的方法与 LoCoMo 和 MemGPT 进行了比较。A-MEM 在所有评估指标上始终优于所有基线,F1 分数达到 3.45(比 LoCoMo 的 2.55 提高了 35%,比 MemGPT 的 1.18 提高了 192%)。A-MEM 的有效性源于其新颖的智能记忆架构,该架构支持动态且结构化的记忆管理。与使用静态记忆操作的传统方法不同,我们的系统通过具有丰富上下文描述的原子笔记创建相互关联的记忆网络,从而实现更有效的多跳推理。该系统能够基于共享属性动态建立记忆之间的联系,并利用新的上下文信息不断更新现有记忆描述,这使其能够更好地捕捉和利用不同信息片段之间的关系。

表 2:在 DialSim [16] 上不同记忆机制在多个评估指标上的比较。分数越高表示性能越好,A-MEM 在所有指标上均表现出优越性。

表 3:针对 GPT-4o-mini 基础模型对我们提出的方法进行的消融实验。符号 “w/o” 表示移除特定模块的实验。缩写 LG 和 ME 分别表示链接生成模块和记忆进化模块。

成本效益分析:A-MEM 在表现出强大性能的同时,还具有显著的计算和成本效率。通过我们的选择性 top-k 检索机制,该系统每次记忆操作约需 1200 个令牌,与基线方法(LoCoMo 和 MemGPT 为 16900 个令牌)相比,令牌使用量减少了 85%-93%。这种显著的令牌减少直接转化为更低的运营成本 —— 使用商业 API 服务时,每次记忆操作的成本不到 0.0003 美元,使得大规模部署在经济上可行。使用 GPT-4o-mini 的平均处理时间为 5.4 秒,而在单个 GPU 上本地托管的 Llama 3.2 1B 仅需 1.1 秒。尽管在记忆处理过程中需要多次调用大语言模型,但 A-MEM 在保持这种具有成本效益的资源利用率的同时,在所有测试的基础模型上始终优于基线方法,特别是在复杂的多跳推理任务上性能翻倍。这种低计算成本与卓越推理能力的平衡,凸显了 A-MEM 在现实世界部署中的实际优势。

4.4 消融实验

为了评估链接生成(LG)和记忆进化(ME)模块的有效性,我们通过系统性地移除模型的关键组件进行了消融实验。当同时移除 LG 和 ME 模块时,系统性能显著下降,尤其是在多跳推理和开放域任务中。仅激活 LG(不使用 ME)的系统表现出中等水平的性能,但其结果仍显著优于同时移除两个模块的版本,这表明链接生成在建立记忆连接方面具有根本重要性。我们的完整模型 A-MEM 在所有评估类别中始终取得最佳性能,在复杂推理任务中表现尤为突出。这些结果表明,虽然链接生成模块是记忆组织的关键基础,但记忆进化模块为记忆结构提供了必要的优化。消融实验验证了我们的架构设计选择,并凸显了这两个模块在构建有效记忆系统中的互补性。

4.5 超参数分析

我们进行了大量实验来分析记忆检索参数 k 的影响,该参数控制每次交互检索的相关记忆数量。如图 3 所示,我们使用 GPT-4o-mini 作为基础模型,在五类任务上评估了不同 k 值(10、20、30、40、50)下的性能。结果揭示了一个有趣的模式:虽然增加 k 通常会带来性能提升,但这种提升会逐渐趋于平稳,有时在较高值时还会略有下降。这种趋势在多跳和开放域任务中尤为明显。

图 3:以 GPT-4o-mini 为基础模型时,记忆检索参数 k 在不同任务类别中的影响。虽然较大的 k 值通常能通过提供更丰富的历史上下文来提升性能,但超过特定阈值后,性能提升会逐渐减弱,这表明在上下文丰富度和信息处理效率之间存在权衡。这种模式在所有评估类别中均保持一致,说明平衡的上下文检索对实现最优性能至关重要。

表 4:不同记忆方法和规模下的内存使用量与检索时间对比

这些任务的观察结果表明,记忆检索需要微妙的平衡 —— 虽然较大的 k 值能为推理提供更丰富的历史上下文,但它们也可能引入噪声,并考验模型有效处理更长序列的能力。我们的分析表明,中等大小的 k 值在上下文丰富度和信息处理效率之间达到了最佳平衡。

4.6 扩展性分析
为了评估随着记忆累积产生的存储成本,我们研究了 A-MEM 系统与两种基线方法(MemoryBank [39] 和 ReadAgent [17])在存储大小和检索时间之间的关系。我们在四个规模点上对这三种记忆系统进行了评估,所用记忆内容完全相同,每个步骤的条目数量都以 10 倍递增(从 1000 条到 10000 条、100000 条,最后到 1000000 条)。实验结果揭示了我们 A-MEM 系统扩展性的关键特点:就空间复杂度而言,正如基于向量的检索系统所预期的那样,这三种系统都表现出相同的线性内存使用扩展性(O (N))。这证实了与基线方法相比,A-MEM 不会带来额外的存储开销。

在检索时间方面,A-MEM 展现出卓越的效率,随着记忆规模的增长,检索时间的增加微乎其微。即使扩展到 100 万条记忆,A-MEM 的检索时间也仅从 0.31 微秒增加到 3.70 微秒,性能表现优异。虽然 MemoryBank 的检索时间略快,但 A-MEM 在保持相当性能的同时,还能提供更丰富的记忆表示和功能。基于对空间复杂度和检索时间的分析,我们得出结论:A-MEM 的检索机制即使在大规模情况下也能保持出色的效率。检索时间随记忆规模的增长幅度极小,这解决了人们对大规模记忆系统效率的担忧,表明 A-MEM 为长期对话管理提供了一种高度可扩展的解决方案。这种效率、可扩展性和增强的记忆功能的独特结合,使 A-MEM 成为构建强大的大语言模型智能体长期记忆机制的一项重要进展。

图 4:记忆嵌入的 T-SNE 可视化,展示了在不同对话中,A-MEM(蓝色)相比基础记忆(红色)具有更具组织性的分布。基础记忆指的是没有链接生成和记忆进化模块的 A-MEM。

4.7 记忆分析
我们在图 4 中呈现了记忆嵌入的 t-SNE 可视化结果,以展示我们智能记忆系统的结构优势。通过分析从 LoCoMo [22] 的长期对话中抽取的两个对话,我们观察到 A-MEM(以蓝色显示)始终比基线系统(以红色显示)表现出更连贯的聚类模式。这种结构组织在对话 2 中尤为明显,在中心区域出现了定义清晰的聚类,为我们的记忆进化机制和上下文描述生成的有效性提供了实证依据。相比之下,基线记忆嵌入呈现出更分散的分布,这表明如果没有我们的链接生成和记忆进化组件,记忆就缺乏结构性组织。这些可视化结果证实,A-MEM 能够通过动态进化和链接机制自主维持有意义的记忆结构。更多结果可参见附录 A.4。

5 结论
在这项研究中,我们提出了 A-MEM,这是一种新型智能记忆系统,它能使大语言模型智能体在不依赖预定义结构的情况下动态组织和进化其记忆。受卡片盒笔记法的启发,我们的系统通过动态索引和链接机制构建相互关联的知识网络,以适应各种现实世界任务。该系统的核心架构具有以下特点:能自主生成新记忆的上下文描述,并基于共享属性智能地与现有记忆建立联系。此外,我们的方法还能通过整合新经验和在持续交互中发展高阶属性,实现历史记忆的持续进化。通过在六个基础模型上进行广泛的实证评估,我们证明了在长期对话任务中,A-MEM 的性能优于现有的最先进基线方法。可视化分析进一步验证了我们记忆组织方法的有效性。这些结果表明,智能记忆系统能显著增强大语言模型智能体在复杂环境中运用长期知识的能力。

6 局限性
尽管我们的智能记忆系统取得了令人鼓舞的结果,但我们也认识到有几个领域有待未来探索。首先,虽然我们的系统能动态组织记忆,但这种组织的质量可能仍会受到底层语言模型固有能力的影响。不同的大语言模型可能会生成略有不同的上下文描述,或者在记忆之间建立不同的联系。此外,我们当前的实现主要侧重于基于文本的交互,未来的工作可以探索将系统扩展到处理多模态信息,如图像或音频,这可能会提供更丰富的上下文表示。

OK ,文章讲解就到这里了,下面总结下:

这篇文档介绍了一种叫A-MEM的新型记忆系统,专门解决大语言模型(LLMs)在处理复杂任务时的 “记忆难题”—— 比如长期对话、多步推理时,传统记忆系统要么结构固定、无法灵活适应不同任务,要么只能简单存储信息,缺乏有效的组织和关联。A-MEM 的核心是让模型能像人整理笔记一样,动态管理记忆,自动建立联系并更新,让模型更好地利用历史信息。

为什么需要 A-MEM?

传统记忆系统有两个大问题:

  1. 结构僵化

    :比如固定好存储格式和检索时机,遇到新任务(如多轮对话、跨领域推理)就不适用了;

  2. 缺乏关联

    :虽然能用图数据库等工具存信息,但无法像人一样自动发现知识间的联系(比如 “摄影” 和 “户外” 的关联),也不能随着新信息更新旧记忆。

A-MEM 借鉴了 “卡片盒笔记法(Zettelkasten)” 的思路:把每个记忆做成 “原子笔记”,让它们自动互联,形成知识网络,还能随新信息动态进化。

A-MEM 的核心功能

  1. 智能笔记构建
    每产生一个新记忆(比如对话内容、推理步骤),系统会自动生成结构化笔记,包含:原始内容、时间戳、关键词(如 “摄影”“2023 年 10 月”)、标签(如 “爱好”“个人经历”)、上下文描述(总结核心信息),以及用于快速匹配的向量编码。
    例:用户说 “2023 年 10 月开始学摄影”,笔记会自动标关键词 “摄影”“2023 年 10 月”,标签 “爱好”,上下文描述 “用户在 2023 年 10 月培养了摄影爱好”。
  2. 自动建立联系
    新笔记加入时,系统会先找历史记忆中语义相似的内容(比如之前提到 “喜欢户外” 的笔记),再让大语言模型判断是否应该关联(比如 “摄影” 和 “户外” 相关),自动建立链接。这避免了人工预设规则,让联系更灵活。
  3. 记忆动态进化
    新记忆不仅会链接旧记忆,还能更新旧记忆的信息。比如新笔记提到 “用单反相机摄影”,系统会自动更新旧笔记的标签,增加 “单反相机”,让旧记忆更精准。
  4. 高效检索
    当模型需要回忆时,A-MEM 会根据当前问题,通过向量匹配快速找到相关记忆,还能自动关联到 “同个话题集群” 中的其他记忆(比如查 “摄影” 时,同时调出 “户外”“器材” 相关内容)。

实验效果如何?

在长对话(LoCoMo 数据集)和多角色对话(DialSim 数据集)上测试后,A-MEM 表现显著优于传统方法:

  • 准确率更高

    :在多跳推理(需要结合多个信息的问题)上,F1 分数比最好的基线方法高近两倍;

  • 更省资源

    :每次记忆操作仅需 1200 个 token,比传统方法(约 16900 个 token)节省 85% 以上;

  • 结构更清晰

    :通过可视化可见,A-MEM 的记忆形成了密集的 “知识集群”,而传统方法的记忆是零散分布的。

总结

A-MEM 的核心是让大语言模型拥有 “自主整理记忆” 的能力:无需人工预设规则,就能自动给记忆打标签、建联系、更新内容,像人用笔记软件一样灵活管理知识。这让模型在长期对话、复杂推理等任务中更高效地利用历史信息,尤其擅长处理需要关联多个知识点的问题。未来还可以扩展到图像、音频等多模态记忆。

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。
在这里插入图片描述

在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)

在这里插入图片描述

👉4.大模型实战项目&项目源码👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战项目来学习。(全套教程文末领取哈)
在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)
在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)
在这里插入图片描述

为什么分享这些资料?

只要你是真心想学AI大模型,我这份资料就可以无偿分享给你学习,我国在这方面的相关人才比较紧缺,大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

在这里插入图片描述
在这里插入图片描述

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)
Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐