1. 从 A.3. Detailed Memory Implementations 归纳现有的记忆方法

短期记忆机制

论文将移动 GUI agent 的短期记忆实现归纳为 5 类架构，并在 Table 8 中给出代表性系统：

1. No History：不保留历史上下文，仅基于当前观测决策（如 CogAgent）
2. Rule-based Aggregation：用规则把历史动作序列/上下文拼接进后续提示（如 SeeAct、Autodroid）
3. Action-Thought Pattern：显式输出“动作+思考/理由”，形成可回看的结构化行动历史（如 AppAgent、UI-Venus、GUI-Owl、UI-TARS）
4. Multi-turn Context：以多轮对话历史作为滚动上下文（如 UI-TARS）
5. Memory Agent Architecture：引入专门的记忆模块或“记忆代理”，持续总结与更新结构化上下文，供主行动代理后续决策使用（如 T3A、M3A、Agent-S2、Mobile-Agent-E、Mobile-Agent-V2）

长期记忆机制

长期记忆主要用于跨 session 学习，归纳为 2 类（并在 A.3.2 进一步解释其运作方式）：

1. Success-Based Learning：从成功轨迹中提炼可复用的“快捷方式/提示/程序性知识”（如 Mobile-Agent-E、Agent-S2）
2. Failure-Based Learning：从失败中总结教训与常见坑点，用于后续尝试的提示与策略修正（如 Mobile-Agent-E、Agent-S2）

---

2. 失败模式与可行设计建议：有哪些？体现在哪部分？

一、失败模式 Failures modes

论文在 Section 6 的失败模式分析中，将非超时失败归纳为 5 类“记忆相关失败模式”；同时在 Appendix A.8.1 给出更细的失败模式定义与代表性轨迹案例（Figures 9–15）。另外，Appendix A.8.1 还把 Execution Timeout 单列为一种常见失败（并指出它在全部失败中占比最高）。

0. Execution Timeout 执行超时

• 含义：在规定步数预算内未完成任务，常指向探索/执行效率低或无法收敛到有效动作序列。
• 典型案例：保存录音文件时，本应一次性选中文本并替换文件名，但 agent 选择“逐字符删除”，导致动作粒度过细、浪费步数，最终耗尽步数预算而超时。
• 揭示的问题：长序列交互中，agent 难以保持高效探索策略与任务连贯性，超时在全体失败中占比达到 72.3%。

1. Partial Memory Hallucination PMH 部分记忆幻觉

• 定义：任务所需信息获得了一部分，但未能完整保留全部关键要素，表现为 0% < IRR < 100%。
• 典型案例：在 Bing 中分别查到 NVDA 与 AAPL 的价格，后续计算时正确使用了 NVDA 价格，却把 AAPL 价格回忆错，导致最终计算结果错误。
• 本质：更像“选择性遗忘/容量不足/检索不全”，而非完全没学到或没看到。

2. Process Memory Hallucination ProcMH 过程记忆幻觉

• 定义：执行中完全丢失任务目标或剩余步骤，出现目标漂移、无关动作序列；在度量上属于 IRR=0% 的“过程导向失败”。
• 典型案例：需要在 Bing 找到图表后，把“前三品牌及份额”整理到 Joplin；但 agent 找到图表后误以为任务完成，提前结束，没有执行后续提取与记录步骤。
• 本质：工作流/计划在长链路中断裂，尤其在跨 app、多阶段任务中更突出。

3. Output Memory Hallucination OMH 输出记忆幻觉

• 定义：流程走对了，但最终输出环节的信息编码/检索失败，导致转录、汇总、填表等输出不完整或错误；在度量上属于 IRR=0% 的“输出导向失败”。
• 典型案例：在 Settings 中分别看到了两份完整列表（如 Wi‑Fi control、Picture‑in‑picture），但写入 Joplin 时漏抄大量条目，造成“观察正确、流程正确、输出错误”。
• 本质：更偏“最后一公里”的信息组织与写出质量问题（尤其在显式输出任务中）。

4. Knowledge Deficiency KD 知识缺陷

• 定义：失败原因主要是基础知识/技能不足，与记忆无关。
• 典型案例：已正确查到并记住日期，但打开目标日历应用时把 Google Calendar 误认成“N calendar”，属于应用识别/常识性能力问题，不是记忆丢失。

5. Intent Misunderstanding IM 意图误解

• 定义：对任务描述或用户意图理解错，导致执行了不符合要求的动作序列。
• 典型案例：任务要求“停留在文章数量更多的 Wikipedia 版本页面”；agent 虽判断英文更多，却最终停留在德语页面，属于对“stay on the page…”要求的误解。

注：Section 6 明确指出上述 5 类是对“343 个非超时失败”的记忆相关归因；而 Appendix A.8.1 在更细定义中同时讨论了 Timeout 等更广泛失败类型。

---

二、可行设计建议 Design implications

论文在 Section 6 “Design Implications”中先给出 5 个面向未来“记忆增强 GUI agent”的架构方向，并在 Appendix A.8.4 将其扩展为更可执行的建议清单，并明确这些建议来自 Section 6 的失败模式分析与实证结果（如 Section 5.2）。

建议 1：多粒度记忆缓冲区 Multi-Granularity Memory Buffers

• 要解决的失败：主要针对 PMH（多条事实记忆不全、选择性遗忘）。
• 核心做法：将短期记忆从“单一缓冲”升级为结构化、多槽位的记忆：按信息类型分开存（如数值事实、文本描述、UI 状态），并在最终输出前加入显式验证机制以减少漏项/错项。

建议 2：层级任务分解 + 持久目标跟踪 Hierarchical Task Decomposition with Persistent Goal Tracking

• 要解决的失败：主要针对 ProcMH（目标漂移、提前结束、跨 app 流程断裂）。
• 核心做法：引入层级规划：高层目标贯穿执行、子目标跨应用边界跟踪进度，避免在长链路与高复杂度下“忘了还没做完哪些步骤”。

建议 3：超越注意力窗口的长上下文利用 Long-Context Utilization Beyond Attention Windows

• 要解决的失败：缓解长轨迹中的信息丢失与上下文截断导致的记忆退化（与 PMH/ProcMH 都相关）。
• 核心做法：不要把“长上下文”简化为对话历史直接拼接；应做信息组织、去冗余、重要性加权的上下文管理，以便真正把长上下文转化为可用的工作记忆。

建议 4：显式长期记忆机制用于跨 session 学习 Explicit Long-Term Memory for Cross-Session Learning

• 要解决的失败/能力缺口：面向多次尝试（pass@k）场景下的失败恢复与策略迭代；论文指出仅少数 agent 具备显式长期记忆，但其 FRR 等指标显著更好。
• 核心做法：建立跨尝试持久化的记忆/经验库，使 agent 能分析失败模式、更新策略，并将经验迁移到后续相似任务中。

建议 5：混合架构 Hybrid Architectures（能力-成本折中）

• 要解决的失败/工程约束：高能力框架型系统常伴随高 token/时延成本，在 token 预算下甚至会“能力归零”，影响可部署性。
• 核心做法：将“框架层的记忆管理/规划能力”与“端到端模型的效率”结合：用轻量模型处理常规交互，仅在记忆密集片段调用更重的记忆操作，以在能力与成本间取得平衡。

---

三、这些内容在文章哪里体现

• 失败模式归纳（5 类记忆相关模式）：Section 6 Failure Pattern Analysis
• 更详细的失败模式定义与案例轨迹：Appendix A.8.1 Failure Mode Definitions（Figures 9–15）
• 设计建议（5 条方向 + 扩展细化）：Section 6 “Design Implications”；Appendix A.8.4 “Design Implications for Future Memory-Enhanced GUI Agents”