从辅助编程到协同编程:AI Coding Agent的技术演进与落地实践
如果无法正常显示,请先停止浏览器的去广告插件。
1. 从辅助编程到协同编程:
AI Coding Agent的技术演进与落地实践
演讲人:张玉明
阿里巴巴 / 高级技术专家
2. 01
02
目录
03
04
05
AI Coding 的技术演进趋势
01
打造 AI Coding Agent 的核心原则
02
核心架构设计与关键技术
03
典型应用场景与落地实践
04
未来趋势思考与展望
3.
4. 01
AI Coding 的技术演进趋势
5.
6. 智能编码工具发展情况
2022年11月30日
ChatGPT发布
AI 2.0
生成式 AI
GPT-o3
AI 1.0
判别式 AI
Qwen 3
Qwen 2.5
GPT-4
2020
2021
DeepSeek Coder
DeepSeek V3
…
端到端软件演化 端到端软件开发
多任务能力 测试生成 文档生成
注释生成 程序修复 软件开发
研发问答 单元测试生成 故障定位 软件设计
代码补全 仓库级代码生成 需求理解 需求规划
Code Llama
代码检测
Claude 3.7 Sonet
Qwen
2023
CodeQwen
2024
2025
7. 大语言模型下的软件研发新范式
8. AI Coding 的技术演进趋势
LLM + Copilot
LLM + Agent LLM + Multi-Agents
辅助完成任务 自主完成任务 协同处理复杂任务
不改变软件工程专业分工,增强领域专业技术,
AI研发工具辅助人完成任务 单一职能专家,能够自主使用工具完成预定任务 影响整个软件研发过程,多Agent互相协作完成
复杂工作
Large Language Model
Tab 补全提示转向了 Agent 对话模式,IDE 的智能辅助已逐步演变为自主决策规划型协作者,环境感知+
自主决策将成为后续智能编码工具的标配。
9. 打造 AI Coding Agent 的
02
核心原则
10. Coding 为什么要基于 Agent 去做?
在选择使用 Agent 的场景时,来自 Anthropic 的 Barry 给出了一个非常实用的标准:
Agent 最适合的场景是那些既 复杂 又 有价值 ,有技术 可行性 ,且失败后
的 ⻛险较低 或 监控成本不高 的任务。
———编程场景完全符合上述特征
11. 打造 AI Coding Agent 的核心原则
人机协作
保持简单
让人类观察 Agent 在做什么很重要,而让 Agent 观察
产品交互简洁,用户理解、使用⻔槛低,且方便扩展。
人类在做什么也同样重要。与全自动运行相比,通过协
作来提升 Agent 运行的可靠性。人类可以随时在过程
中对 AI 进行纠正,可以被要求批准 AI 的某些操作
(例如执行终端命令),并且对代码变更进行审查。
Coding Agent
模型驱动
主动学习
根据用户行为偏好总结用户画像、将成功经验自动沉淀 完全由模型驱动,尽量减少工作流式的解决方案,基于
以应用于未来相似的任务,进而形成智能体⻓期记忆, 模型的自主规划、反思及工具使用能力打造 ReAct 模式
使编程智能体越来越聪明、越来越懂开发者。 智能体。
12. 反思:基于 Workflow 模式的 UnitTest Agent
代码编写阶段
编
码
助
手
中
触
发
持续集成阶段
代码评审阶段
UnitTest Agent
生成单元测试 编译构建和运行 搜索工程信息 自主修复 报告生成 用例采纳
放入工程
隐藏目录内 收集编译或
运行信息 收集编译运行
失败相关源码定义 模型推理
尝试多轮修复 提供编译运行
覆盖率等信息 根据报告结果
手动/自动采纳
微调训练优化
生成数量控制 规范性
⻛格统一 单元测试框架支持
优化
策略
执行编译和运行 工程检索能力
运行/编译失败信息收集 自主学习
研
发
流
程
中
触
发
13. 03
核心架构设计与关键技术
14. 构建可靠 AI Coding Agent 的技术难点
1. 如何打造灵活可扩展的 Coding Agent 框架 ?
2. 如何确保 LLM 拿到准确的上下文 ?
• 工程感知
• ⻓短期记忆
3. 如何建设 Coding Agent 的工具体系和评测体系?
15. 基于 LLM 的 Coding Agent 的整体流程
16. 通义灵码 Coding Agent 框架
Lingma Agent Framework
Manager
Executor
会话管理
监控
Extension
Core
工具/Prompt 管理 Agent 管理
Agent 抽象 多 Agent 模式
工具扩展 LLM 扩展
Graph Memory
Tool ChatModel
17. Coding Agent - 工程感知
搜索工具
语义搜索
文件搜索
理解仓库
关键词搜索
依赖搜索
Coding Agent
索引服务
文本切块 代码切块
文档解析器 代码解析器
模型服务
Embedding
Rerank
检索服务
文本检索
向量检索
范围过滤
存储服务
本地
符号检索
18. Coding Agent - 记忆体系
System Message
历史会话
User Message
Assistant Message
代码仓库架构信息
Tool Message
…
开发者偏好
User Message
Assistant Message
Tool Message
Coding Agent
经验教训
Latest User Message
短期记忆
⻓期记忆
19. Coding Agent - 短期记忆
第 1 轮 第 n 轮 第 n+1 轮 ( 超了 ) 第 n+1 轮 ( 压缩后 )
System Message System Message System Message System Message
User Message User Message User Message User Message
Assistant Message Assistant Message Assistant Message Assistant Message
Tool Message Tool Message Tool Message …
… … User Message User Message Assistant Message Assistant Message
总结了近 n/2 轮对话信息,
放到一个 message里
User Message
Assistant Message
还剩 n/2 轮历史信息
Tool Message
Tool Message
Latest User Message
超了模型上下文限制
Tool Message
Latest User Message
20. Coding Agent - ⻓期记忆
对话开始
记忆召回 记忆评估
记忆使用 记忆创建
对话完成 记忆巩固
用户提问主流程
记忆遗忘
定时任务
21. Coding Agent - 工具体系
模型 Function Calling 示例
Agent & 工具交互流程
22. 代码编辑工具 - 工程级多文件变更
发起对话任务
获取上下文
代码编辑方案
生成代码变更
应用代码变更
记录文件变更
使用双阶段架构进行解耦规划与执行:采用大模型规划(生成代码编辑方案)+ 小模型执行(代码 Diff Apply)的架构
基础大模型
平均输出速度 >
1000 tokens/s ,性能提升 > 10 倍
源文件
代码编辑方案
Diff
Apply
N-gram 投机解码加速
修改后文件
23. 代码编辑工具 - 工程级多文件变更
发起文件编辑
发起文件编辑
生成变更方案 生成变更方案 检查变更方案
生成 & 应用代码变更 生成 & 应用代
码变更 检查最终变更
结束代码编辑
V1 版本
结束代码编辑
V2 版本
N-gram 投机解码加速
24. 代码编辑工具 - 工程级多文件变更
准确 高效 超大文件
源文件 + 代码编辑方案 -> 修改后全文 源文件 -> 代码编辑方案 -> 修改后全文 源文件 -> 代码编辑方案 -> 修改片段
-> 修改后全文
减少模型生成符号、数字时可能的幻觉
针对代码编辑方案、代码变更结果进行
检查重试
通过更精准的提示词和重试解决模型
指令遵循效果可能不佳的情况
第一阶段,代码编辑方案只输出
变更部分代码,显著减少输出 token
第二阶段,通过 N-gram 投机解码加速,
针对大文件场景,增加生成修改片段
阶段,结合工程能力生成修改后全文,
进一步减少输出的 Token
显著提升生成修改后全文的速度
平均输出速度 > 1000 tokens/s,性能
提升>10 倍
支持的文件⻓度 > 64k tokens
大文件场景下应用代码变更阶段,
换算后的平均输出速度 > 1000 tokens/s
25. Coding Agent - MCP 工具
作用:统一大型语言模型(LLM)
通过统一 & 标准的协议,将互联网数据、个人本地数据以及企业内部数据提
供给模型
与外部数据源和工具之间的通信协议
互联网数据
在线平台的各类数据
个人本地数据
个人电脑上的各类代码、文件数据
企业私有数据
企业内部平台中的私有数据
26. Coding Agent - MCP 工具
灵码插件与 MCP 集成的形态,包括本地和远程 MCP Server 的集成
灵码插件集成 MCP 后核心组件的交互设计
27. 灵码支持魔搭社区 2400+ MCP 服务,拓宽能力边界
28. 模型 - 面向软件工程的数据合成和模型训练
从 <问题,答案> 到 <问题,……解决过程……,答案>
https://mp.weixin.qq.com/s/lRff6cv0HR4A3eapZxwaVQ 《通义灵码 SWE-GPT:从 静态代码建模 迈向 软件开发过程⻓链推理》
29. 国内首个混合推理模型 Qwen3
30. Coding Agent - 评测体系
场景层
编程语言
任务类型
技术难度
Lingma 评测集
多场景、多语言、多模态
技术支撑层
工程感知
⻓/短期记忆
Prompt
工具
Agent 框架
Lingma 自动化评测框架
线下评测、线上 A/B Test、高度自动化 & 并行化
模型层
Qwen 系列
Claude 系列
DeepSeek 系列
31. Coding Agent 核心技术能力构建总结
• 灵活可扩展的 Coding Agent 框架
• 全面完整的工程感知和记忆感知
• 丰富稳定的工具
• 编程能力卓越的大语言模型
• 客观准确的评测
32. 04
典型应用场景与落地实践
33. 通义灵码编程智能体
34. 交互设计稿还原
35. 开发一个记账 App
36. Coding Agent 最佳使用实践
通过设定5-10条项目专属 善于使用 #file、#folder、 明确写出业务需求、技术 使用 MCP 与企业已有工具
规则,可以帮助模型更精 #gitCommit等主动关联上 栈、限制,就像写个小型 进行打通,拓宽 Agent 能
准地理解并适应开发者的 下文,可以更快更低成本 PRD一样。 力的同时,与实际业务研
编码偏好,例如理解项目 获得更准确结果。
发流程加强融合。
框架和代码⻛格等。
设置项目专属规则
提供丰富的上下文
需求澄清要具体
与传统研发工具融合
37. 05
未来趋势思考与展望
38. Coding Agent - 未来规划
记忆能力的持续优化
工具能力的完善和拓展
将内置工具的效果和效率做到极致,并探索更多原生工具
优化短期对话记忆机制,确保⻓会话场景下的高效交
能力的支持,突破目前工具数量的限制,即如何让 Agent
互。同时建立深度记忆的提取和巩固机制,通过持续学
接入数百个工具,并能够自主判断调用哪个工具、如何使
习提升记忆准确性。
用它们,以拓展编程智能体的能力边界。
Coding Agent
大规模代码库的理解
通过构建跨仓库的全局代码感知,提供深度的依赖分析
和调用链追踪。建立多层次的代码知识图谱,融合代码
结构关系、业务领域知识、组件依赖关系等维度,实现
知识的系统化沉淀和智能推理。
开放能力的持续建设
通过自定义规则及工具配置支持用户定制符合个性化研
发场景的自定义智能体,MCP 协议的深化以及 A2A 协
议的探索与融合。
39. 研发工具体系将面临重塑
智能体将全面集成传统研发工具
在 IDE 环境中的智能体可以基于MCP协议集成大量传统研发
工具,替代过去繁琐的基于Web界面的人工操作,完成从设
计—>编码—>测试—发布的全过程。
企业级研发场景垂直化与模块化
未来将更多地针对特定行业或场景进行模型微调、知识库沉
淀,同时通过可插拔的模块化设计,企业可以灵活地在基础大
模型上集成自有数据和功能,满足个性化需求。
智能体将处理更复杂的任务
Agent 的运行时间将从分钟级别延展至小时乃至数天,它们
将能够展现出更强的问题解决能力,应对更具挑战性的任
务。
40. AI Coding 工具的目标不是取代开发者,而是让越来越多的人加入
开发者行列,让专业开发者蜕变为更为高阶的领域系统架构师。
41.
42. THANKS
探索 AI 应用边界
Explore the limits of AI applications