从云原生迈向智能原生：蚂蚁中间件进化之路

1. 从云原生迈向智能原生：蚂蚁中间件进化之路章耿（余淮）

2. 自我介绍章耿（余淮） • • 蚂蚁集团 AI 中间件负责人 • 10+ 年中间件工作经验，深耕基础架构领域，致力于通过目前主要负责应用框架、中间件架构、AI 中间件等方向推进技术架构演进，提高开发人员的研发效能

3. 目录 01 智能原生的挑战 02 中间件“进化”思考 03 蚂蚁 AI 中间件体系 04 总结与展望

4.

5. 01 智能原生的挑战

6. AI 应用演进趋势 L5 L4 L3 L1 ChatBots 通过自然语言与大模型对话 2023 L2 2024 Agents Reasoners 具备一定的推理能力，能解决复杂问题，理解上下文深层含义，进行多轮思考等能自主采取行动，包括目标理解，环境感知、规划步骤、调用工具（搜索、API）、执行任务（订机票、写报告）、存储记忆 2025 （Agent 元年） Innovators 具备创造性突破能力，能够自主提出新理论、设计新产品、解快人类未解问題（如新药物发现、原创艺术创作） Organization AI组织体，多个AI协同完成复杂目标，具备资源管理、战略规刻能力，甚至可管理公司或科研项目

7. 蚂蚁应用架构演进移动支付业务 PC 支付余额宝担保交易花呗借呗蚂蚁森林架构单体应用分布式应用 SOA 化/微服务中间件开发框架消息中间件 Web 服务器数据中间件网关金融云蚂小财全球化 AQ 多主体百宝箱云原生应用智能原生应用 Agent 框架微服务/函数 Agent 平台 ServiceMesh MCP Serverless 网关 RAG/Memory ……

8. 智能原生应用传统云原生应用智能原生应用页面/表单/按钮自然语言/多模态被动反馈主动协作微服务 Agent （智能体）确定性概率性（泛化）静态逻辑动态逻辑无状态有状态关键存储关系型数据库向量数据库核心算力 CPU GPU （大模型）智能原生 AI Native 交互方式智能原生应用是指围绕人工智能技术为核心进行设计、构建和运营的一类应用，它旨在充分利用和发服务实体挥AI的理解、生成、逻辑和记忆能力。智能原生架构使应用能够具备动态业务逻辑适应、自主优化和数据驱动的核心特征，从而在复杂多变的环境中提供持续智能的服务。 ≠ 应用+AI

9. 智能原生时代的挑战新的服务实体新基础设施新用户不确定性 Agent Tools 多模态 RAG Memory 非技术同学大模型上下文工程评测状态管理研发效率安全高可用成本

10. 02 中间件“进化”思考

11. 传统中间件主要解决的问题业务应用降低研发门槛开发框架微服务中间件消息中间件数据中间件中间件应用运行时网关发布模式 …… 沉淀通用能力解耦 + 粘合提升研发效率抽象推进技术规模化应用沉淀最佳实践架构统一演进基础设施计算存储网络

12. AI 应用研发技术栈全景图

13. AI 中间件需要解决哪些问题 AI 应用 AI 应用研发套件 AI 应用基础服务 AI（大模型） AI 应用工程方法论

14. AI 中间件建设设想传统业务应用 AI 应用 APP Web 应用 …… 交互协议服务 AI 应用研发套件数据 Agent 配套 Agent 开发框架 Agent 协议 Agent 开发平台工作流评测可观测交互安全 …… Agent 托管运行 (应用/模块/函数/平台) 传统中间件工具协议微服务消息数据网关 AI 应用基础服务基础设施模型协议数据协议工具模型数据工具市场大模型服务 RAG 工具供给模型市场 Memory 计算大模型存储 …… 网络

15. 中间件选型决策 Java VS Python ✓ 同时服务 Java 和 Python 开发群体自研 VS 开源 ✓ 拥抱开源，结合内部体系深度自研先建设再推广 VS ✓ 边建设边推广边建设边推广

16. 03 蚂蚁 AI 中间件体系

17. 当前蚂蚁 AI 中间件产品体系 Agent 研发平台 Agent 研发框架 Agent (Python) Agent (Java) AI 应用开发套件 SOFAAI SDK AgentUnivse / LangChain SOFARPC SOFABoot Agent 协议流程编排 Agent Layotto 模型市场测试与评测工具市场可观测 MCP Server Agent MCP Server Agent MCP Server SOFAPy MOSN MOSN 工具 SOFABoot/ SOFAPy (应用级) SOFAServerless (模块级) SOFAFunction (函数级) 大模型对话协议工具协议 (MCP) AI 应用基础服务应用管理 Agent 托管运行模型数据传统中间件 MCP 中心 MCP 网关模型市场 SOFARAG 网关注册中心 MCP 研发 MCP 安全公共模型服务 SOFAMem 配置中心分布式链路跟踪 …

18. Agent ：研发框架 SOFAAI SDK SOFAAI SDK 是基于开源的 Spring AI 产品进行构建的 AI Agent 应用框架。它的目标是让基于 SOFA 生态的 Java 应用能够快速、灵活的使用 AI 能力构建 AI Agent。 • 完全适配 SOFA 体系，研发运维上手成本低 • 提供内部和外部多种大模型服务对接能力 • 支持通过 MCP 协议、Function Calling使用工具 • 内置通用的 Agent 设计模式，例如CoT 、意图识别、Multi- Agent 、 ReAct 等 • • 支持应用、模块和函数等部署模式内置安全、可观测、全链路流式等基础能力

19. Agent ：研发框架 SOFAPy SOFAPy 是 Python 语言的应用开发框架，旨在帮助 Python 开发者像 SOFABoot 一样快速开发内部应用，无需关心复杂的中间件、PaaS 等底层能力。 • • • • • • 原生适配研发运维平台，对齐 SOFABoot 研发运维生态能力可集成 AgentUniverse 、LangChain 等 Agent 开发框架基于 MCP 组件提供 MCP Server/Client能力基于 Flask 组件提供 Web 托管能力内置 Layotto 等基础组件，可快速访问各种 SOFA 中间件内置 Tracer 组件，默认接入蚂蚁可观测体系

20. Agent ：研发平台

21. 工具：MCP 场景与挑战功能通用性 Agent 开发者(全员)友好大模型友好外部开发者友好 MCP 工具定义的标准化带来的改变开放 OpenAPI 服务生产关系的解耦 ? 工具理解和使用成本高平台内置工具工具理解和使用成本低新流量入口代码/配置工具 MCP RPC 服务带来的基建需长期建设挑战最佳实践待摸索内部开发者友好 Agent 开发者(技术)友好功能专用性

22. 工具：MCP 基础设施蚂蚁 AI 业务 MCP MCP 消费中心 Agent 应用 Agent 平台查找注册管理效果调优调用授权上架流程 MCP 外部业务 Agent 生成的代码大模型服务对外开放 … (支付MCP/…) Client （集成安全和技术风险能力） MCP MCP 管控安全平台协议（蚂蚁扩展）技术风险平台应用工具检索基座 & 模块 FaaS 平台各类网关 /MOSN 开放 API MCP 上架 Server（集成安全和技术风险能力） MCP 上架：满足工具服务标准（大模型优化、安全、稳定）运行 MCP 供给多语言开发框架平台支付宝支付政务网关评测财保出行商家保险内部业务 MCP 安全平台技术基金化中间件平台效能风险可观测 … 合作 MCP 入驻社区 MCP 引入

23. 数据：SOFARAG 场景 RAG 范式 Agent 框架 Naive- RAG Agent 平台 Advanced - RAG 评测 Graph - RAG MCP Agentic- RAG 知识消费改写与过滤多源多路召回知识组装重排序知识存储向量数据库图数据库 KV 存储增量更新知识加工解析/切片数据提取数据清洗向量化知识引入非结构化数据半结构化数据结构化数据（Word/PDF 等文档、语雀知识库、网页等）（FAQ ）（数据库/表格等）

24. 数据：SOFAMemory 场景 Agent 框架 Agent 平台短期记忆（会话）记忆范式评测 MCP 快速回忆回忆范式中期记忆（近期）深度回忆长期记忆（画像）记忆分层记忆提取响应生成记忆加工记忆提取记忆去重记忆存储记忆总结记忆新增组合检索记忆修正（更新）记忆排序记忆遗忘（过期）

25. 传统中间件适配 AI 场景微服务网关消息全链路 Trace 集成大模型服务网关异步/批量推理多模态全链路流式 Agent 互通网关 Agent 长程协作 Agent/Tools 注册中心 Agent 配置中心 MCP 互通网关函数平台 MCP Server 托管沙箱托管

26. 04 总结与展望

27. “进化”心得深入业务拥抱开源长期主义守正创新从业务中来的，到业务中去，需深入 AI 业务解决业务痛点，从解决问题中沉淀最佳实践，而不是拿着锤子找钉子。相信社区的速度和集体智慧，拥抱开放的标准和能力，积极推动标准化、工程化、组件化。 AI 应用研发范式日新月异，不断演进，尚未收敛，中间件也需要需要持续迭代，持续演进。拒绝 AI FOMO ，传统中间件依然是核心，不能为了拥抱 AI 放弃传统中间件的投入。

28. 趋势展望短期各子领域依然会涌现新的 AI 中间件组件，部分组件会随模型能力增强被替代。中期 AI 中间件在不同子领域都会逐渐组件化、标准化，AI 中间件体系逐渐完善。长期 AI 中间件会成为 AI 应用的骨架和神经中枢，连接模型、工具、数据。

29.

30. The best way to predict the future is to create . it 预测未来最好的方式就是去创造它！欢迎加微信好友交流/加入蚂蚁中间件

31. THANKS 大模型正在重新定义软件 Large Language Model Is Redefining The Software