从上下文到长期记忆：大模型记忆工程的架构设计与实践

1. 从上下到期记忆：模型记忆的架构设计与实践李志宇兼CTO 记忆张量（上海）科技有限公司联合创始程

2.

3. 模型性能缩放曲线的演进历史 Mem-training

4. 从实践层

5. 从实践层户具库企业/ 户明数据常交流过程中形成的信息流是模型持续迭代提升的最优资源！

6. 从实践层看记忆增强的必要性动态记忆 Dynamic Memory 动态记忆 Dynamic Memory 动态记忆 Dynamic Memory 静态记忆 Static Memory

7. 从实践层看记忆增强的必要性对于单个户的单个 Session ，需要管理： ✦ 动态信息：临时参考信息、偏好信息、系统信息、MCP执信息、响应信息（外部、推理、反馈交互）…. 信息、任务 ✦ 静态信息：本地知识库、云端知识库…(知识处理的完整流程框架)

8. 从实践层对于单个看记忆增强的必要性户的多个 Session ，需要管理：保障跨Session引的正确性，整体信息的歧义等跨Session信息参考 Session2 Session4 Session6 时间序列 Session1 Session3 Session5 跨Session信息参考 Session7 ……

9. 从实践层应开发复杂度急剧增

10. 从实践层 Multi-sessions

11. 从实践层

12. 模型记忆增强层的实现路径：（1）模型内

13. 模型外向驱动的记忆增强：通过设计Prompt / Agent 流，模拟记忆过程，增强模型性能代表性框架时间 Slogan 技术特点 Star数量 Letta /MemGPT 2023 Create stateful AI agents that truly remember, learn, and evolve. 开源社区驱动，目标构建具备状态记忆与自我改进能力的 LLM Agent 平台，非 Production-grade. （是最早受到计算机系统启发设计记忆框架的） 18.2k Mem0 2024 Universal memory layer for AI Agents. 纯明文记忆管理框架，较早面向应用层提供记忆管理的代表性框架。服务生产环境，强调平台化服务。 39.2k Zep 2024 Build Agents That Recall What Matters. 强调采用 Temporal Knowledge Graph（时序知识图谱）结构来组织长期记忆 17.6k Memobase 2025 Profile-Based Long-Term Memory for AI Applications. 强调用户画像与事件时间线的记忆系统，将会话内容抽取为结构化 pro le 和事件，并关联时间戳，形成用户长期记忆 2.1k Memories.ai 2025 Building AI to See and Remember 强调多模态记忆，把原始视频转化成可搜索、带上下文关联的数据库，支持SaaS服务非开源、清华、交 HippoRAG团队、MIRIX团队、北模型记忆增强层的实现路径：（1）应、等从 Memory面临的创新问题出发，提出了对应的解决方案

14. 模型记忆增强层的实现路径对

15. 模型记忆增强层的实现路径对结合两者！

16. 记忆增强层落地需要做什么？记忆系统的核不仅依赖更的模型与、能更新、还能共享。记忆组织记忆检索记忆更新记忆共享 Memory Reader Memory Organization Memory Retrieval Memory Update Memory Sharing 从交互中捕获关键信息，形成记忆段对记忆进建模，构建逻辑与时间关系按需快速调相关历史记忆，辅助推理与成动态修正或替换过时记忆，保持知识新鲜跨任务、跨个体共享知识，实现知识复发幻觉发套完整的记忆操作系统功能链路 —— 让 AI 能记住、能组织、能调记忆抽取幻觉净的数据，更需要功能点

17. MemOS 的核设计思路：从 OS 到记忆操作系统（MemOS）硬件层 Hardware layer

18. MemOS 的核设计思路：从 OS 到记忆操作系统（MemOS）够灵活？硬件层 Hardware layer

19. MemOS的系统框架应开发层 Agent / Chat / Pipeline Large Language Models 基座层

20. MemOS的系统框架应开发层 Agent / Chat / Pipeline MemOS(记忆) MCP( 具) Large Language Models 基座层

21. MemOS的系统框架 …. Graph DB（向量数据库） Publish

22. MemOS的系统框架 MCP( 具) Large Language Models 基座层

23. MemOS的系统框架户记忆 Cube …. Graph DB（向量数据库） Publish

24. MemOS的系统框架 …. Graph DB（向量数据库） Publish

25. MemOS的系统框架 …. Graph DB（向量数据库） Publish

26. MemOS的系统框架

27. MemOS的系统框架记忆分层建模 MemOS(记忆) 记忆调度管理记忆脑图组织

28. MemOS的系统框架记忆分层建模记忆调度管理 MemOS(记忆) 记忆分层建模的意义与理论基础记忆脑图组织

29. MemOS的系统框架记忆调度管理记忆分层建模 MemOS(记忆) 记忆脑图组织记忆调度的原理与技术框架

30. MemOS的系统框架记忆脑图组织记忆分层建模 MemOS(记忆) 记忆调度管理记忆组织案的思考点

31. MemOS的核

32. MemOS的核学会遗忘

33. 从脑记忆分层到模型记忆分层：Memory3 Transformer Circuits Abstract Knowledge Specific Knowledge 抽象知识具体知识 Separable Knowledge 可分离的知识 Implicit Memory Explicit Memory External Info. 隐性记忆显性记忆外部记忆（信息） Memory Hierarchy 记忆分层 Model Parameters 模型参数图 1：模型记忆分层理论（源 Memory3论）[1] [1] Yang H, et al. Memory3: Language Modeling with Explicit Memory[J]. Journal of Machine Learning. 2024.

34. 从表达，下意识就有 Explicit Memory External Info. 显性记忆外部记忆（信息）看过的书/上课的笔记开卷考试，现场查阅

35. 从 Explicit Memory External Info. 显性记忆外部记忆（信息）看过的书/上课的笔记开卷考试，现场查阅 KV Cache的缓存（记忆编码）外部知识库检索

36. 从 Explicit Memory External Info. 显性记忆外部记忆（信息）看过的书/上课的笔记开卷考试，现场查阅 KV Cache的缓存（记忆编码）外部知识库检索 Self-Attention计算重新编码调

37. 从 Explicit Memory External Info. 显性记忆外部记忆（信息）看过的书/上课的笔记开卷考试，现场查阅 KV Cache的缓存（记忆编码）外部知识库检索 Self-Attention计算灵活可更新，读写速度适中重新编码调容量最，但调最慢

38. 从脑记忆分层到模型记忆分层：Memory3 Memory Hierarchy 记忆分层更新效率低，读取效率 Implicit Memory 隐性记忆 Explicit Memory External Info. 显性记忆外部记忆（信息）灵活可更新，读写速度适中容量最，但调最慢

39. MemOS框架下记忆分层管理的划分设计短期明记忆 + + ，产期明外置参数记忆（或代理模型）的临时记忆 KV Cache记忆

40. MemOS框架下记忆分层管理的划分设计短期明记忆期明记忆

41. MemOS框架下记忆分层管理的划分设计使短期明记忆期明记忆

42. MemOS框架下记忆分层管理的划分设计使短期明记忆期明记忆脑图记忆组织/抽取、图+向量化存储主动预测，将记忆放在最合适的位置场景自动识别，记忆编排框架

43. 机制 MemOS的核：记忆调度管理将记忆放在最合适的位置 [1] * RAG检索增强的典型范式（被动式检索） [1] Retrieval-augmented generation for large language models: A survey[J]. arXiv preprint arXiv:2312.10997, 2023

44. 记忆调度建模：从被动式检索到主动式

45. 记忆调度建模：从被动式检索到主动式构造模型推理种典型的阻断检索延迟，复杂模型法开展

46. 记忆调度建模：从被动式检索到主动式法开展化，缺乏跨块整合能

47. 记忆调度建模：从被动式检索到主动式法开展化，缺乏跨块整合能成本，每次都需重新检索

48. 记忆调度建模：从被动式检索到主动式 Round 2 答案阅读新Query输 10s 7s MemCube MemCube ……

49. 记忆调度建模：从被动式检索到主动式上下构建模型回答 Round 2 答案阅读 Query 上下构建模型回答 Round 3 答案阅读 ……

50. MemOS记忆调度框架 Read 答案阅读 Lineation Query Click 上下构建系统模型回答 Round 2 为建模答案阅读 Add Query Search 上下 Delete 构建 Update 模型回答 Round 3 答案阅读 …… …… 对话时间线

51. MemOS的核 KnowledgeGraph-based 可推理，容易校验标注压缩 Xmind-based 易关联，灵活度适中压缩，主动记忆

52. MemOS的核机制三：记忆脑图组织与检索主动记忆：是指模型在处理输时，不再仅仅依赖户检索触发的被动式切，是能够主动分析对话或档内容的语义结构，并基于任务标，对其中需要期保留的信息进拆分、筛选、归纳与组织，从形成效的思维导图。：抽取逻辑分析（形成记忆COT过程）关键步骤

53. MemOS的核机制三：记忆脑图组织与检索主动记忆：是指模型在处理输时，不再仅仅依赖户检索触发的被动式切，是能够主动分析对话或档内容的语义结构，并基于任务标，对其中需要期保留的信息进拆分、筛选、归纳与组织，从形成效的思维导图。次校验与关联性边重构：关键步骤

54. MemOS的核机制三：记忆脑图组织与检索丰富的检索特性： - 主题-路由-事实路径 - 关键词检索 - 跨Session推理 - 时序节点（版本管理）

55. MemOS的整体性能表现效果对效果对 | 基于LoCoMo数据集的实验性能对 | 基于LongMemEval数据集的实验性能对 MemOS评估结果 MemOS评估结果成本优化任务准确率提升在LoCoMo数据集上，MemOS 相在四类核任务中的平均准确率消耗上显著降低61%，能够更 MemOS相较OpenAI 的全局记忆案提升少的检索Token达到同样任务效 Mem0、Zep等均具有明显性能 39% 果优势。在LongMemEval数据集上， OpenAI，MemOS在Token Zep 55.21 60 50 40 30 Temporal Overall 90.00 Memos 81.99 84.46 78.63 66.42 30 10 Open-domain Task Full-text 40 10 Multi-hop 内容40% 50 20 Single-hop 幅降低 60 20 0 解码所需填充的上下 80 70 64.30 73.31 ，MemOS 以上。 90 Memos 73.21 70 Mem0 78.44 80 Openai 与记忆框架相通过精准的检索召回， Zep 90.48 Langmem 相业内的记忆模型如 Mem0 成本优化任务准确率提升 0 Single-Session User Multi-session Single-Session Preference Temporal Reasoning Knowledge Update Overall

56. MemOS 的开源框架与OpenMem社区

57. MemOS 的典型应场景容，实现连续理解 • 支撑多轮科研对话与具调用，提升任务连贯性教就会， Bad Case 不再复现已有2w+用户，日均调用超 4000 次

58. One More Thing

59. One More Thing

60. One More Thing： Merge

61.

62. THANKS 智能始于记忆张量链接未来 INTELLIGENCE BEGINS WITH MEMORY