1. 此图片为 AI 生成

2.

3. About me – 郑岩，from 华为云BP&IT团队 • 山东人@深圳 • 4年SAP，9年华为 • 华为云数智使能团队负责人 • AI + 知识 + 数据 + TA • 终身学习者 2

4. 通过本次分享，你可以了解到： • 华为云客服AI“养成之路” • 华为云客服AI落地过程中，遇到的“三道坎”及解题方法 • 在企业中应用AI大模型的 “避坑指南”

5. 目录 1. 探路篇：华为云客服AI助手工作复盘 2. 避坑篇：在企业内部应用AI大模型的思考

6. 华为云客服业务背景：最重要的客户触点之一，如何持续提升用户体验和问题闭环效率？ 痛点1 随业务量增长，坐席人数线性增加 客户 官网智能客服 客服坐席 痛点2 SRE 5 1. 坐席专员流失率高，经验沉淀困难 2. 业务复杂、变化快，赋能周期长

7. 客服业务的技术演进历程：期待能够面向客户和坐席，提供更“有用”的客服AI助手 作业数字化 • 工单处理线上化 • 官网智能客服（QA Bot） • 知识库建设 阶段3：2023~（探索中） 阶段2：2019~2022年 阶段1：2017~2019年 核心诉求：业务作业过程线上化 6 核心诉求：借助知识及“传统”AI 手段，沉淀经验资产，提升人效 官网智能客服升级 | 客服坐席AI助手 核心诉求：AI大模型驱动生产力跃迁

8. 客服AI助手的“养成之路” ：跨过“三道坎”，依然还在路上… 81% NOW：最新模型，客服AI助手方案沉淀，孵化AI Core，复制到SRE、营销、SMB辅销 • • 覆盖客服全员，组建客服AI运营团队 落地Data Grounding、多模态解析，探索语音场景 68% 阶段⑤：盘古38B+提示词工程+RAG+人工标注+SFT微调+作业即标注Plus+AI萃取经验知识+持续运营 问题：日调用超100w次，资源和性能瓶颈凸显，如何高效使用资源？如何解决复杂问题？ • 56% 客服AI助手融入作业流程，AI萃取历史工单经验 第 ③ 道坎： 48% 阶段④：盘古11B+提示词工程+RAG+人工标注+SFT微调+作业即标注+AI萃取经验知识 如何让AI能力持续提升？ 问题：部分产品存量知识不够，冷启动效果差、周期长 • • 客服AI插件版上线，试点团队推广 认证AI训练师，发布AI标注规范和流程 阶段③：盘古11B+提示词工程+RAG（向量索引）+人工标注+SFT微调 第 ② 道坎： 问题：人工标注效率低、标注质量差，谁来标、谁来检？ 如何让AI飞轮“低功耗”转起来？ • 联合EI服务，早期试用CSS向量索引及盘古大模型SFT能力 17% 阶段②：盘古11B+提示词工程+RAG 问题：模型能力不足、上下文过短、关键词检索不准 • 7 如何让AI大模型能“做事”？ 联合EI服务，早期试用盘古大模型 阶段①：POC，盘古11B内测，直接作答 问题：通用大模型不理解垂域知识、信息安全如何保障？ 第 ① 道坎： 2% 2023.03 2023.05 2023.07 2023.09 2023.11 2024.Q1

9. ① 让AI大模型能“做事”，当前仅靠简单的R+A+G还远远不够，还需要3个关键配套 1、RAG是当下性价比最高的LLM落地方案， 2、但是，RAG搞Demo容易、落地 本质上是一种工程化“代偿”方案 难，还需要几个关键配套 • 配套1：工程化实现 • 配套2：企业知识管理 • 配套3：全链路监控/评估 Source: codeconductor.ai 8

10. 附： RAG工程化实现方案，初看是搜索，越做越是Agent 官网 资料 案例 /wiki 上下文 … 知识语义化&切片 +盘古 补充 ① 自动 客服坐席 原始问题 意图理解 +盘古 Y：输出标准答案 向量 知识湖 融合搜索 +盘古 优质QS 拦截 N：输出TOPN知识片段 开卷问题解答 +盘古 标注、反馈 BadCase分析 9 知识整理后，入知识库

11. ② 只有让AI飞轮“低功耗”转起来，才能让“AI养成”这个游戏持续的玩下去 • 企业场景用户量有限（k级），反馈率极低（<5%）；拿不到足够的反馈，就无法支撑AI持续迭代，怎么破？ 我们的解题思路：“作业即标注”，重新设计作业过程，将AI反馈流程与作业流程融合，以驱动AI飞轮 客户 提出问题 AI循环 接收答案 AI作答 人工坐席 冷启动 作 业 循 环 AI检索增强 RAG 标注 知识 作业即标注 AI模型微调 SFT AI训练师 资料团队、 知识运营 10 AI答的差× AI答的好√ 修改AI结果后 发给客户 直接 发给客户 坐席作答过程记录

12. ③ 持续提升领域AI大模型能力的“秘方”是什么？ • 如何让AI大模型的能力提升符合预期：理解垂域知识，执行垂域任务，有更多数据和算力来持续投入训练 我们的解题思路： 1、一套企业级的L1大模型 • 集中资源和精力，打磨一个“懂行”的企业级L1基模型 （也可能是开源的行业大模型） 2、深刻理解数据，才能持续提升数据质量 • 对训练数据集建模，本质上是在对业务任务建模（尝试 弄清楚AI到底缺啥数据？缺多少？ -- “实习生测试”） • 持续改进训练数据和提示词（多看数据 + 评测体系） • 不断research（当然，得先做search） 11 L0.F 企业/行 业数据 通用指令 数据 场景指令 数据 增量预训 练 SFT SFT L1.F L1.C L2

13. 客服AI应用试点情况：过去一年时间，在AI辅助下，工单平均处理时长下降35.11% 12

14. 最终，你会发现：AI大模型落地不仅仅是IT挑战，还是一场业务变革… 华为AI变革“3层5阶8步法”：以业务价值目标为牵引，流程 + 组织 + 数据 + IT，端到端变革 第一阶：场景 ①明确目标 层一 重新定义 智能业务 层二 AI开发与 交付 1. 生产力、竞争力和 客户体验提升 2. 防控关键风险与安 全 3. 提升业务效率降低 成本 ②场景识别 第二阶：流程 第三阶：组织 ③重塑流程 ④组织变革 1. 业务流程重构 1. 识别高能耗点 2. 业务 数据 技术 三 个准备度评估 3. 机会点优先级选择 第四阶：数据 第五阶：IT ⑤数据和知识工程 ⑥AI建模与发布 1. 高质量数据的采集清洗转换 2. 模式数据集的专家撰写和扩增 • 业务专家 • 数据专家 • 技术专家 2. 信息流设计闭环， 作业即标注 初阶：模型选型，Prompt 中阶：微调，外挂知识库，Botmaker 高阶：AI数据集，领域模型训练 • • • • • 数据工程师 知识工程师/专家 提示工程师（初阶） AI训练师（中高阶） AI研究员（高阶） 第五阶： IT ⑦AI融入业务应用 层三 持续运营 智能应用 13 1. AI评测上线 2. 大小模型编排 3. SAL治理 ⑧AI持续运营 1. 获得反馈 2. 对数据和知识刷新和修正。 3. 对模型持续校准和训练 • 作业人员具备AI初阶 技能和数据工程师 • 业务专家向AI高级训 练师和Kmer转变

15. 目录 1. 探路篇：23年AI辅助华为云业务工作复盘 2. 避坑篇：在企业内部应用AI大模型的思考

16. 思考：在企业中应用AI大模型的几个“坑” 1. AI大模型的“代偿”一时爽，一直“代偿”能一直爽吗？ 2. 我的IT团队能“适应”AI大模型应用时代吗？应该从哪儿开始搞起？ 3. AI大模型应用到底是“+AI ”还是 “AI+”？ 15

17. 沿着AI大模型的第一性原理，一切才刚刚开始，别在AI大模型前进的车轮下“绣花” OpenAI GPT Google Gemini Anthropic Claude Source: Models - OpenAI API Source: Gemini - Google DeepMind Source: Claude \ Anthropic Srouce: 《 BIG IDEAS 2024 》 by ARK Invest 16 思考：AI技术“大变局”下，哪些是不变的？ -- 更快、更准、更长、更便宜、更多模态

18. 因地制宜，选择合适的“游戏模式”，组建GenAI应用团队，与AI大模型共同成长 三种“游戏模式”，该选哪个？ 3 GenAI应用团队与传统IT应用团队差异很大 2 • 面向AI大模型的应用设计和开发 • 人才第一、数据第二、算力第三（英雄出少年，关注优秀GenAI团队的构成） 业务BA 1 AI训练师 （评估/标注） IT SA  AI SA （AI加持的解决方案） Source: by Bijit Ghosh | Medium IT产品经理 IT产品运营  AI助手运营 （运营AI助手 & AI训练师） IT SE  AI SE （提示词工程/算法/训练） 思考：与传统IT团队人员配置差异很大；从应用角度，用好ICL，辅以SFT，按需做增量预训练，是不错的选择 17

19. 以终为始，用“AI+”思想设计，以“+AI”来逐步改变，当下正是“春耕时节” Source: SpaceX - Missions: Mars 思考：当下是与业务建立统一认知、组建团队、练兵的好时机；应当甄选“好”场景，小处着手，低垂的果子先摘 18

20. TAKE AWAY：春耕时节，大处着眼，小处着手 • 我们的“探路”报告 ① 为了让AI大模型能“做事”，RAG有用，但远远不够，需要三个配套（工程化实现、企业知识管理、全链路评测） ② 为了让AI飞轮“低功耗”转起来，重新设计业务流程和IT交互，让AI大模型融入作业（“作业即标注”） ③ 为了持续提升领域AI大模型能力，需要建立企业级L1，并对训练数据建模，以改进数据质量 ④ 加餐：企业AI变革的“三层五阶八步”方法论（以业务价值目标为牵引，围绕组织、流程、数据和IT的变革落地） • 我们的“避坑”指南 ① AI大模型未来会“更快、更准、更长、更便宜、更多模态”，别在前进的车轮下“绣花” ② 组建GenAI应用团队，从应用角度用好ICL，辅以SFT，按需做增量预训练 ③ 甄选“好”场景，小处着手，低垂的果子先摘，当下是非常好的机会窗来储备 19

21. 谢谢大家！ Thank you. 期待共同交流、成长~ 把数字世界带入每个人、每个家庭、 每个组织，构建万物互联的智能世界。 Bring digital to every person, home and organization for a fully connected, intelligent world. Copyright©2018 Huawei Technologies Co., Ltd. All Rights Reserved. The information in this document may contain predictive statements including, without limitation, statements regarding the future financial and operating results, future product portfolio, new technology, etc. There are a number of factors that could cause actual results and developments to differ materially from those expressed or implied in the predictive statements. Therefore, such information is provided for reference purpose only and constitutes neither an offer nor an acceptance. Huawei may change the information at any time without notice. wx: 关山的月儿