一个没有记忆的AI,就像沙滩上的足迹,潮水一来便了无痕迹。

近日,来自新加坡国立大学、中国人民大学、复旦大学、北京大学等顶级学术机构共同撰写并发布了百页综述《Memory in the Age of AI Agents: A Survey》,旨在将智能体记忆与 RAG 和上下文工程等相关概念区分开来,并通过三个统一的视角提供全面的概述:

  • 形式(什么承载记忆?):按存储介质对记忆进行分类——标记级(显式和离散的)、参数级(隐式权重)和潜在级(隐藏状态)。
  • 功能(为什么智能体需要记忆?):超越简单的时间划分,走向功能分类:事实记忆(知识)、经验记忆(洞察力和技能)和工作记忆(主动情境管理)。
  • 动态(记忆如何演变?):将操作生命周期分解为形成(提取)、演变(巩固和遗忘)和检索(访问策略)。

通过这种结构,我们希望为将记忆重新思考为未来智能体中的一级基本元素提供概念基础。

Github链接:https://github.com/Shichun-Liu/Agent-Memory-Paper-List

https://github.com/Shichun-Liu/Agent-Memory-Paper-List

由此,引发一些思考:

  1. Memory是什么?

答:AI Agent的Memory,是其从“一次性工具”进化为“持续伙伴”的核心能力,本质是一个结构化的经验库与"人格基础"。 它解决了传统大模型“金鱼般”健忘的问题,让Agent能记住过去,并基于记忆规划未来。

  1. Memory的作用?

  2. 实现连贯交互:在长对话或多轮任务中,记住上下文,避免重复提问或信息断裂。

  3. 持续学习与适应:从历史中学习用户偏好、任务模式,从而优化未来的行为。

  4. 构建身份与个性:基于过去的经历形成一致的行为风格和知识储备。

  5. 完成复杂长期任务:对于需要多步骤、可能跨天甚至跨周的任务(如研究项目、软件开发),记忆是必需品。

  6. Memory有哪些形态?

  7. 短期记忆:即对话上下文。像人类的“工作记忆”,容量有限(受模型上下文窗口限制,如128K),仅处理当前任务,对话结束通常即“遗忘”。

  8. 长期记忆:即经验数据库。这是真正的记忆核心,通过向量数据库等技术,将重要信息持久化存储,支持跨会话的检索和调用。

  9. 反思记忆:即元认知能力。最高级的形态,指Agent能对自身经历进行总结、分析得失、提炼规律,并存入长期记忆,实现自我进化。

4. Memory机制的关键运作流程?

  1. 编码/存储
  • 决定记什么:并非所有信息都需要长期存储。可以通过LLM或规则来判断信息的“重要性”。例如,总结一段对话的要点、提取关键事实、用户明确说“记住这个”。
  • 格式化:为信息添加时间戳、来源、类型等元数据,便于后续检索和管理。
  • 向量化:将文本转换为向量,存入向量库。
  1. 检索/回忆
  • 触发:在Agent需要做出决策或响应用户时触发检索。
  • 查询生成:根据当前情况(用户问题、任务目标)生成一个或多个搜索查询。
  • 相似性搜索:在向量库中执行搜索,找到最相关的记忆片段。
  • 相关性过滤:可能通过LLM对检索结果进行重排序或过滤,确保召回的信息高度相关。
  1. 利用
  • 将检索到的长期记忆与当前的短期记忆(上下文) 整合,形成一份完整的提示,交给LLM核心进行推理和输出。
  • 提示词示例:“这是关于用户的历史信息:[相关记忆片段]。当前的对话是:[最近几条消息]。请根据以上信息回答用户的问题:…”
  1. 更新与维护
  • 定期总结:将过多的短期记忆压缩、总结成精炼的长期记忆,节省空间。
  • 记忆更新:当信息发生变化时(如用户更换了手机号),需要能更新旧的记忆。
  • 记忆遗忘/归档:设计机制来处理过时或不再相关的信息,可以是软遗忘(降低检索优先级)或硬删除。

5. 当前存在的挑战与前沿方向

  1. 挑战
  • 检索准确性:如何确保召回的记忆精准相关,避免无关信息干扰。
  • 记忆冲突:当新旧记忆矛盾时如何处理。
  • 隐私与安全:敏感的长期记忆如何加密和保护。
  • 计算开销:向量化、检索会增加延迟和成本。
  • “幻觉”记忆:LLM可能错误地总结或生成虚假的记忆内容。
  1. 前沿方向
  • 分层记忆系统:更精细地划分记忆类型(情景记忆、语义记忆、程序性记忆)。
  • 图神经网络存储:用知识图谱而非纯向量来存储记忆,更好地表达实体间关系。
  • 可微分记忆:让记忆的读写操作能通过梯度下降进行优化。
  • 潜意识/情感记忆:尝试让Agent记忆交互中的“情感色调”或“氛围”。

可以把Agent的Memory看作是它的**“经验库”和“人格基础”**。假设一个长期运行的Agent,记忆累加是否会出现记忆库冗余、庞杂;作为一个人类,我可以记住去年生日的场景,却无法记起去年十月第二周周末吃了什么。原因是记忆会有偏重点,那么对于Agent,能否设置一些偏重点,保留重点内容?Memory-Attention是否可作为一个深入研究的方向?

总结

AI Agent的Memory机制是其从“工具”迈向“伙伴”或“自主智能体”的基石。它通过短期记忆维持连贯,长期记忆积累经验,反思记忆实现成长,三者结合形成一个动态、可学习、个性化的智能系统。目前,基于向量数据库的检索增强是业界主流实现方式,但整个领域仍在快速演进,目标是构建更高效、更可靠、更像人类的记忆系统。

如何学习AI大模型?

如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!

这份完整版的大模型 AI 学习和面试资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!

请添加图片描述
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

请添加图片描述

大模型全套视频教程

请添加图片描述

200本大模型PDF书籍

请添加图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

LLM面试题合集

请添加图片描述

大模型产品经理资源合集

请添加图片描述

大模型项目实战合集

请添加图片描述

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐