阿里云客户服务领域Agent在业务提效上的思考与创新实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 阿里云客户服务领域Agent在业务提效上的思考与创新实践演讲人：姜剑（飞樰）阿里云 / 算法专家

2. 个人简介姜剑（飞樰）阿里云算法专家负责阿里云服务领域 Agent 智能体平台的算法架构设计。曾负责阿里云智能客服机器人整体算法架构设计、服务领域大模型训练、对话机器人链路体系的构建等。在阿里云服务领域深耕7年，逐步建设起了阿里云服务领域的算法技术体系，曾主导构建了云计算服务领域的问答系统、知识图谱、推荐系统等。曾多次在行业技术会议中做 LLM、Agent 等相关技术分享。

3. Agent的技术本质与常见模式 01 Agent给客户服务领域带来的价值增益目录 02 阿里云服务领域的业务背景与挑战 03 阿里云服务领域Agent的设计方法论 04 阿里云服务领域Agent平台的设计与落地 05

4. Agent的技术本质与常见模式

5. Agent的技术本质 Agent本质上是让大模型“代理”「人」的行为，使用某些“工具”来完成某些“任务”的能力词典中Agent的释义 Agent的组成（来源：有道词典）（来源：The Rise and Potential of Large Language Model Based Agents: A Survey）

6. Agent常见模式 LLM自主规划类 Start Planning Action Observation Workflow预编排类灵活性：高（动态适应）灵活性：低（预定义流程）可控性：低（黑盒决策）可控性：高（透明流程）容错率：高（参考为主）容错率：低（稳定为主）开发成本：低（模型驱动）开发成本：高（需人工编排）模型要求：高（强推理能力）模型要求：低（符合需求即可）适用场景：探索化场景、复杂问题适用场景：标准化场景、重复任务 Start Step 1 Step 2 Branch 1 Branch 2 ... Final Answer Step N Finish Finish

7. Multi-Agent常见模式 Multi-Agent本质上是让多个Agent “代理”「一群人」的行为，其中每个Agent可以“各司其职”完成某类“任务” 转交模式（Handoff）嵌套模式（Nested）主代理模式（Master） Agent 1 Agent 1 子Agent 1 群聊模式（Group Chat） User Task Agent 1 Agent 2 Agent 2 Agent 3 Agent 3 主Agent 子Agent 2 子Agent 3 Agent 2 Agent 3

8. Agent给客户服务领域带来的价值增益

9. Agent带来服务需求研发范式的变革 Agent技术可以在满足服务领域各类场景服务要求的同时，又能降低开发成本，实现“人人都是开发者”

10. Agent简化复杂业务流程服务领域许多处理流程，传统方式要进行复杂代码编排或变量转换，Agent可以通过大模型能力简化处理流程传统编排 API Tools 调用流程大模型 API Tools 调用流程输入参数输入参数转换 API 入参调用 API 大模型调用API 解析 API 大模型输出结果输出结果

11. Agent交互方式多样性纯LUI交互的大模型对话体验其实并不都是太友好，结合GUI交互的Agent的可读性和体验会好很多 LUI交互的Agent GUI交互的Agent （案例来源：Microsoft Blogs. New Autonomous Agents Scale Your Team Like Never Before）

12. 阿里云服务领域的业务背景与挑战

13. 阿里云服务领域业务背景介绍阿里云客户服务过程中主要的智能化场景包括： • 智能问答：以通义千问大模型为底座，结合服务领域知识面向公共云客户提供大模型智能对话机器人服务，提升客户快速自助解决问题能力，降低服务成本 • 智能调度：通过产品及场景智能识别，精准理解客户意图，为工单精准调度提供支持，协助提升工单一次性解决率 • 智能辅助：通过统一搜索、智能对话、工具等多种手段为一线客服提供智能辅助Copilot服务，深度集成客服业务流程，协助客服提升工单解决效率

14. 阿里云服务领域问题的特性问题维度产品维度阿里云多数产品是技术属性较强的产品，例如： • 弹性计算：ECS、轻量服务器、弹性裸金属服务器 • 人工智能、大数据：百炼大模型平台、 PAI人工智能平台、 MaxCompute • 存储、网络：块存储、OSS对象存储、负载均衡、网关、专有网络 • 容器：ACK容器、弹性容器实例ECI • 更多：云安全、物联网、域名、邮箱等... 意图表达根据问题属性主要分为以下两种情况：从意图表达层面，分以下几种情况： • 咨询类： • 意图清晰、聚焦：比如“ECS无法远程比如“订单查询、开发票、退款”等常见的财务类问题；“ECS是否支持 VPC、通义千问支持多模态吗”这类的产品特性、功能特性相关的问题 • 技术类：如 “ECS服务器无法远程连接、调用 API报错出现InvalidParameter”等技术属性较强的问题，通常需要深入诊断和排查连接”、“域名实名认证失败”等直接描述了问题的核心、关键内 • 意图复杂：有较多的报错log或者细节描述，没有直接描述核心、有效的重点，有许多干扰信息 • 意图模糊：比如“认证问题”、“连接不上”，产品信息、核心要素都有所缺失，导致意图模糊、不完整，存在歧义

15. 阿里云服务领域场景的业务痛点痛点一痛点二痛点三云计算技术复杂性高需求研发效率低个性化需求较多场景复杂：不同于其它客户服工具需求多：云产品种类、细个性化流程：在技术复杂的场务领域，除了FAQ式问题，云分场景较多，目前客服辅助或景下，不同的售后工程师在排计算领域问题很多是复杂场景客户自助解决问题都需要依赖查问题、解决问题的过程中会大量的服务诊断工具产生很多个性化的诊断流程，诊断复杂：需要通过多轮次对但是研发团队很难定制开发话、各种诊断工具查询用户的研发成本高：这导致工具需求产品状态、诊断出现的问题根研发成本较高、研发效率相对领域经验沉淀：同时这些领域因，才能制定出对应问题的解低，大量需求无法及时快速开经验存放在各处，很难系统化决方案发跟进的沉淀或赋能他人

16. 阿里云服务领域Agent的设计方法论

17. 应用Agent的过程中你是否遇到过这些挑战？挑战一：运行效果问题 • 提示词难书写、调整构建规划 • Agent运行不稳定挑战二：规划如何平衡 • 自主规划的流程不符合预期 • Workflow的编排复杂度太高 Agent 落地问题挑战三：领域信息集成 • 领域先验知识如何注入 • 领域特定流程如何遵循领域性能挑战四：Agent响应速度 • 大参数的模型生成慢 • 小参数模型效果不佳

18. 让提示词更稳定的运行从定义结构化提示词模板，再到AI辅助生成提示词，都在致力于让提示词运行更稳定直接写提示词结构化提示词模板 AI辅助生成提示词 ## 角色请你帮我排查某用户服务器端口不通问题的具体原因，调用端口工具来回答问题你是____任务专家，你能够专业的完成____相关的任务我需要根据实例ID查询端口不通... ## 任务要求 1.此____任务的目标是为了完成____的处理你需要输出哪些关键信息？ 2.请根据用户问题，调用____工具来完成____信息的查询 3. 完成工具调用后，请寻找可以回答用户问题的答案总结出来提示词容易出现的问题： ## 输出格式 • 提示词过短，任务要求主体不明、表意 ... 不明、模糊不清 • 提示词过长，注意力失焦、重点遗忘 • 提示词中存在歧义、冲突、矛盾等情况我需要这些信息 ..... 输出格式请以JSON形式输出，具体格式是: 好的，提示词已经帮您优化好： ## 约束条件请遵循工具的参数格式进行调用，按照工具实际的返回结果总结答案 ## 示例 ... ## 角色你是端口诊断任务专家...

19. Workflow编排与LLM自主规划的权衡 Workflow编排和LLM自主规划，在可控性与智能化的坐标轴上所处位置高 Workflow编排（标准化场景）可控性 LLM自主规划（探索化场景）低智能化高（参考来源：How To Think About Agent Frameworks）

20. 标准化场景：稳定可控标准化、重复性、容错率低的服务场景，非常适合Workflow，LLM可作为内部环节，完成某一步任务订单财务类场景排班通知类场景输入订单信息读取客服完整排班表格查询订单到期时间查询当前时间判断到期时间 > 今天？抽取当前时段的排班是否有效期内已经到期可退订部分费用费用不可退订是否存在排班通过钉钉API发送通知计算可退定金额无需发送排班通知输出相关结论注：演示示例，非真实业务数据

21. 探索化场景：灵活自主探索化、解决方案未知、复杂性高的服务场景，非常适合LLM自主规划 RDS实例异常诊断 Agentic RAG 检查会话连接数生成搜索Query 检查QPS请求搜索文档检查CPU内存检查搜索出结果检查慢SQL日志判断是否符合要求分析各方面可能的原因整理最终答案最终给出解决方案注：演示示例，非真实业务数据

22. Multi-Agent模式：灵活自主+稳定可控根据问题描述和输入参数，LLM灵活选择诊断流程，诊断流程通过Workflow可控查询邮箱无法收发信诊断用户描述邮箱无法发信的情形，会给出域名、账号、报错内容输入邮箱账号输入邮箱域名输入报错内容查询邮箱账号状态 MX解析诊断查询报错原因是否正常是查看订单是否到期 TXT解析诊断给出报错解决方案否账号冻结等 CNAME解析诊断根据查询情况，决策是否输出最终解决方案或继续查询注：演示示例，非真实业务数据

23. Workflow落地探索演进过程在Workflow落地的过程中，我们探索过多种不同类型的编排方式和执行过程 Start Function Call Start LLM Text Condition Branch 1 Output 规则引擎 Branch 1 ... LLM Finish 自然语言编排 + LLM驱动按步执行 Branch 1 Branch 2 ... LLM Generate Function Call Text Condition Code Condition Branch 2 ... Code / Function Start ... 规则引擎 Finish 代码/LLM混编 + 规则驱动按步执行 Branch 2 LLM ... Output Finish 自然语言编排 + LLM自主规划执行

24. 领域数据集成与响应速度优化领域数据集成 • Prompt中动态领域要求根据服务场景匹配度，在 Prompt加载的过程中动态引入领域先验知识 • 引入外部技能通过调用领域工具、知识库、文档等，让LLM有更多方式自主选择获取领域数据 • 领域大模型训练将领域知识通过模型训练的方式注入到大模型中，从根本上提高领域任务的精准性响应速度优化 • 代码参数预转换多使用流程预编译好的Workflow，将非必要的LLM模块转换为代码或脚本语言，提高运行效率 • 各种推理加速方式模型量化、优化KV Cache、使用各种加速框架、更换高性能GPU等 • 降低模型参数量在满足需求的前提下选用小参数模型，针对Function Call、高频任务要做SFT/RL

25. 领域Agent大模型的训练训练阶段执行阶段大模型调优规划能力领域Agent语料领域数据源数据处理 SFT/RL 工具调用单步工具调用领域知识 / 文档汇总多步工具调用清洗参数反问澄清 Agent评估子Agent调用工具选择准确率条件判断领域 SOP API 动作执行准确率领域 MCP Tools 构造/合成 Multi-Agent调用参数提取准确率阿里云 OpenAPI 条件判断/场景拒识步骤规划生成效果评估动作执行观察反思回答生成

26. 优化提升Agent效果的路径模型调优 • 确定优化任务高 • 构造任务数据 Multi-Agent构造 • SFT / RL • 子Agent设计 • Agent协同模式 Agent 运行效果 • 端到端测试规划分解 • 构造Workflow • 可控性要求原型构建 • 运行速度要求 • LLM自主决策 • 提示词工程 • AI辅助调优低 Agent优化成本高

27. 阿里云服务领域Agent平台的设计与落地

28. 业务场景对服务领域Agent平台提出了更高要求新的云服务领域需求开发范式，对平台易用性和产品可用性都要求较高高产品可用性传统代码开发 AI生成式构建Agent 最灵活，但需有编程门槛 AI引导开发、调优更简单手动构建Agent 门槛低，但调优真的很难低平台易用性高

29. 服务领域Agent平台需要承载的能力聚焦领域问题解决降低门槛、效率优先领域经验沉淀与共享 • 聚焦在解决“云计算服务 • 以尽可能低成本、无代 • 领域经验沉淀与版本管理领域”的痛点问题码的模式来构建Agent • 依托领域数据和平台 • AI引导式生成开发需求 • 支撑服务领域各类模式 • 持续优化各功能点耗时 • 领域经验可内部共享 • 领域能力之间相互赋能阿里云服务领域Agent智能体平台（智能服务业务流平台）

30. AI驱动服务领域Agent生产的全链路 AI生成式开发参与到服务领域Agent生产构建的全生命周期 Prompt工程技能使用流程编排交互应用 Prompt模板 MCP Tools 调用流程编排 AI配置开场白 AI引导式需求描述知识库检索流程自动规划 AI生成交互表单 Prompt自动生成文档/网页读取流程步骤分解 AI构建Artifact Prompt自动调优 AI自动匹配技能参数自动预编译 AI自主调用Agent

31. 服务领域Agent平台的整体架构 Multi-Agent 转交模式 Handoff 嵌入模式 Nested Interaction 开场白输入表单主代理模式 Master Multi-Modal 输出卡片文本文档图片 AI Generator 语音 Planning LLM自主决策群聊模式 Group Chat 引导式需求收集 Prompt自动生成/调优 Workflow自动编排/预编译 Workflow（流程引擎驱动 / LLM驱动、按步执行 / 自主执行） AI Artifact生成工具自动选择开场白/交互表单生成 Tool 工具集成工具管理工具授权 Prompt Knowledge 知识库 Infrastructure 文档服务领域数据 Management 工具执行（同步/异步/轮询） Prompt工程 Prompt模板服务领域大模型 Memory管理调试诊断版本管理权限管理统计分析性能监控服务领域MCP Server 服务领域LLMOps平台

32. 落地效果：AI化快速构建Agent能力 AI生成式开发构建LLM自主规划类Agent的效果

33. 落地效果：AI化快速构建Agent能力 AI生成式开发构建Workflow预编排类Agent的效果

34. 落地效果：AI化快速构建复杂交互 AI生成式开发构建和应用基于GUI交互形式的Artifact的效果 Artifact对话式生成在Agent中使用Artifact

35. 总结本次分享的核心点 Agent常见模式与带来的价值 • Workflow预编排 vs LLM自主规划的区别和各自优缺点 • Agent、Multi-Agent的几种常见模式 • Agent带来的价值增益：需求研发范式变革、复杂度降低、交互多样性阿里云服务领域Agent构建方法论 • Workflow预编排与LLM自主规划的权衡、Multi-Agent应用 • Agent稳定性优化、领域数据集成、Agent响应速度提升 • Agent效果优化提升的路径：原型构建、规划分解、Muti-Agent构造、模型调优阿里云服务领域Agent平台设计思路 • 阿里云服务领域Agent平台聚焦于领域问题的解决 • 在平台上实现AI驱动Agent的全链路生产过程，实现Agent的低成本构造 • 实现云计算领域经验在服务领域Agent平台上的沉淀与共享

36. Agent应该“灵活自主”还是“稳定可控”？这取决于场景

37.

38. THANKS 探索 AI 应用边界 Explore the limits of AI applications