NLP技术辅助⼈⼯客服⾼效服务的探索和实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. NLP技术辅助人人工工客服高高效服务的探索和实践 T 智能客服中心心-潘路路 2022年年5月月美团平台/语音交互部报告内容包含跨团队共同成果，在此感谢陈瑞年年、胡文文星、刘操、赵子子健、张冠炜等同事的重要贡献。

2. 个人介绍负责人工客服提效智能工具研发的算法专家 T 具体包括服务流程引导、服务知识推荐、话术引导、服务工单自动记录、知识挖掘等曾在阿里巴巴集团负责淘宝商品搜索排序优化阿里小蜜知识问答等技术方向 2

3. 目录 01 客服辅助的业务背景 03 未来探索 T - 实时辅助引导技术 - 服务过程自动记录 02 核心技术工作 3

4. 人工客服的简介客服人员所需要的技能？售中售后业务知识服务流程景点/酒店设施咨询酒店有停车位吗 … 入退房政策咨询第二天几点退房 T 售前什么是客服(人工坐席)？添加备注请求刚才我点的餐不放辣 … 开发票咨询帮忙开个发票无人接单咨询怎么还没有骑手接单 … 到店无法入住咨询我到这酒店说房满了沟通技巧

5. 美团客服的业务特性业务规模大年度交易用户流程复杂 6.9亿急迫度高用户心情急迫 880万商品需求紧急 T 活跃商户 520万+ 服务领域多帮大家吃得更好，生活更好。外卖骑手 1w+ 细分业务场景业务具有即时性舆情风险高 5

6. 用户的服务旅程问题表述，反馈信息诉求表达等待实施评价反馈沟通方案情绪激动 (有效安抚) (及时解决) 沟通潜在「方案」 (骑手商家出餐能否加急?) (未取餐转单?) 协商「方案」与寻求共识 (催出餐、转单、加急、接单补贴、红包、退赔…) 服务记录 (用户问题、诉求、核实过程、方案情况…) 问题路由 T 将「用户表述」转化为「服务场景」 (用户表述：事件、问题、沟通情况、诉求、等待超时…) (服务场景：商家未出餐、配送慢、骑手取错、餐品丢失…) 出现问题寻找服务人工客服的工作旅程场景判断核实身份 /订单信息了解诉求查找最优方案外呼沟通与协商与用户共识方案执行方案服务过程记录人工客服的工作旅程 6

7. 客服（坐席）助手的技术架构服务过程加速流程导航文本处理技术信息抽取话术聚类文本分类阅读理解序列标注基础能力理解 & 摘要 T 槽位提取核心技术意图识别语音技术文本生成话术推荐智能外呼机器人 FAQ/场景推荐产品能力服务过程替代场景识别意图识别识别诉求文本生成流程切片方案摘要机器学习与模型训练服务智能记录对话内容计算对话处理技术引导 & 预测流程引导话术推荐 … 场景预测方案预测数据标注挖掘静音检测打断检测问答挖掘全双工交互优质话术语义理解流程挖掘话术生成人机环路 7

8. 目录 01 客服辅助的业务背景 03 未来探索 T - 实时辅助引导技术 - 服务过程自动记录 02 核心技术工作 8

9. 服务过程记录客服与用户沟通后，需要记录服务过程以及结果服务过程自动记录帮助质检合规判断下一个客服快速了解状况核心技术-服务过程自动记录通过理解对话内容，帮助坐席自动生成需要记录的内容， T 包括进线背景、用户诉求、解决方案等提升服务效率降低客服费力度核心指标技术指标 Rouge 业务指标采纳率 Bleu Precision Recall AHT（Average Holding Time） 9

10. 核心技术-服务过程自动记录-行业做法文本摘要是一个信息压缩过程，将输入的一篇或多篇文档自动压缩为一篇简短的摘要，不可避免有信息损失，但是抽取式摘要 • Seq2Seq模型生成式摘要 Pointer-generator模型(ACL 2017) 未登录词问题—Copy机制、生成重复问题—Coverage机制 T • 传统方法：Lead-3、TextRank、聚类 • 基于神经网络的方法：转化为“序列标注”问题 • 缺陷：内容选择错误、连贯性差、灵活性差 SummaRuNNer模型 (AAAI 2017) 要求保留尽可能多的重要信息。方法上分为抽取式和生成式两类。 10

11. 核心技术-服务过程自动记录-行业做法对话摘要属于文本摘要的一种形式，面向的是对话类数据。例如会议、闲聊、邮件、辩论、客服等等形式。通过捕捉对生成式：Scaffold Pointer Network(2019) 话中的关键信息，帮助快速理解对话核心内容。相比“文本摘要”引入的问题 • 话题经常转换 • 多领域 • 信息密度低 T • 说话角色有多个，经常转换编码说话者角色实体信息Mask 引入领域分类损失 11

12. 特点核心技术-服务过程自动记录-美团客服场景通常包含固定要素背景填写特点大多数从原始通话提取填写标准不一骑手表示他是在收餐处点击送达想申诉餐损要素餐损已出申诉理由 T 状态摘要骑手未经用户同意点击送达，用户申请退款，导致扣款不同要素填写特点不同可枚举从原始通话中提取查看系统发现骑手点击送达后用户申请退款，告知骑手自身原因且骑手承认自己没有打无法申诉，建议下电话跟用户确认就点击次不要提前点送达了送达骑手不认可，要求换客服诉求核实过程解决方案附加信息可枚举核实动作可枚举，核实结果从通话提取从原始通话中归纳部分业务同 “核实过程” 合并填写从通话中提取标注成本高信息密度低 12

13. 技术架构解决思路不同要素对应不同建模方式 T 借助人工摘要生产伪标签加入关键信息抽取环节抽取诉求算法辅助挖掘、建立类别空间信息密度低建模分类填写标准不一标注成本高核心技术-服务过程自动记录-美团客服场景背景解决方案关键信息抽取类别体系建设优质摘要筛选生成要素内容挖掘样本构建聚类伪标签生产 13

14. 核心技术-服务过程自动记录-美团客服场景分类方法建模多任务分类（加入角色信息）多任务分类（融合多种特征信息）平均识别准确率 8*.8% T 单任务分类多任务共享权重+添加角色信息 +11.6pp 增加特征信息（场景、订单状态等） +1.1pp 角色编码方式：[unused]指代、角色名称拼接、段落编码表征实验表明角色名称拼接+段落编码表征效果最好 14

15. 类别体系建设诉求、核实过程等要素，通常可以定义出明确的类别标签挖掘流程人工摘要要素片段聚类、频次统计（K类簇）客服人工摘要核心技术-服务过程自动记录-美团客服场景 • 背景：用户进线反馈餐品配送太慢；诉求：退款；解决方案：已操作退款，外呼跟进用户退款成功… • 背景：用户反馈餐品里有异物；诉求：退款并赔付；解决方外卖骑手（10）优选用户（9）退款申诉补贴赔付申诉配送费补送取消订单补货换货报备赔付外卖用户（20+）剩余要素表述相似度计算、合并/新增 T 案：已操作退款并补偿红包*元… 聚类簇心退款人工筛选、审核、组合标签拆分咨询处理类别标签1 类别标签2 类别标签3 15

16. 核心技术-服务过程自动记录-美团客服场景抽取方法建模背景要素难以定义类别，但通常会在原文出现历史通话内容我外卖还没送到，联系不上骑手坐席填写背景计算RougeL- recall，保留TopN 规则后处理（阈值、关键词）关键句样本选取优质内容就那个肯德基啊，点的全家桶好的，这边为您联系骑手，您稍等 T 快点啊，都点了好久了，一直也打不通电话截取前半段你好，很抱歉，请问是哪个订单呢自动化样本构建长文本友好线上预测高效背景：用户进线反馈外卖还没送到，联系不上骑手… 16

17. 核心技术服务过程自动记录-美团客服场景抽取方法演进-Span抽取将抽取转化为阅读理解任务句粒度抽取结果粒度过粗，包含无关信息预测对话中每一个Token出现在答案的概率你好，我外卖还没送到根据上一阶段的概率挑选密度最高的Span作为答案你好，很抱歉，请问是哪个订单呢就那个肯德基啊，点的全家桶，一直也打不通骑手电话 T 好的，这边为您联系骑手，您稍等背景：用户进线反馈外卖没送到，打不通骑手电话… SIGIR21: Distant Supervision based Machine Reading Comprehension Model for Extractive Summarization 17

18. 生成方法建模核心技术-服务过程自动记录-美团客服场景词表概率方案（处理结果）要素通常是原文相关表述的转写，另外会包含原文之外需要推理的信息 ? # BIO 编码 O O ? * ? + ? " ? $ ? % O O O O O 字向量就那个肯德基啊，点的全家桶 ? & ? # ? ) ? * ? + CLS 客服： T 处理结果：查询运单状态正常配送中，已操作加急，用户认可。户退款 SE P ? #) ? #* ? #+ ? #" ? #$ ? #% ? #& O O O O O B I ? ## ? #) ? #* ? #+ ? #" ? #$ ? #% ? #& 款 SEP 告知用户退款 ? ## O O B I ? " ? $ ? % ? & ? ' ? #( Bert 我这边对话信息好，快点啊，都点了好久了输入 ? #( 用 copy copy 编码层你好，这边看到骑手已取到餐，正在配送中，我这边帮您做一个加急，您看可以吗 ? ' 知 Linear+softmax Copy标签分类你好，很抱歉，请问是哪个订单呢 ? ) 告 Linear+softmax MLM分类我外卖还没送到，帮忙看看输出 Rouge-L 原始生成 0.34 生成+span_copy[1] 0.39 帮您退摘要 • 安抚解释，核实身份未通过，建议用户核实通过后再次来电 • 安抚告知商家已经接单，短信跟进收餐 • 联系商家不同意退款，告知用户 [1] https://kexue.fm/archives/8046 18

19. 抽取+生成级联建模通话文本过长，信息密度低，影响模型性能那个菜里面有头发很抱歉给您造成不好的体验怎么办吧另外您可以打开订单提交放心吃理赔 T 出现这种情况我们会直接投诉商家来介入处理一到两个工作日到账的生成模型 Span抽取模型核心技术-服务过程自动记录-美团客服场景好，那我去看一下处理结果：告知用户放心吃理赔，记录反馈投诉商家，用户认可。生成 VS 抽取 + 生成分类 VS 抽取 + 分类 Rouge-L 采纳率准确率召回率采纳率 +23.1pp +15.2pp +6pp +4pp +22.4pp 19

20. 客服场景服务过程自动记录属于对话摘要问题业务多类别体系半自动挖掘多任务融合多种特征标注难背景 T 诉求、核实过程抽取样本标签自动构建 Span粒度抽取分类通话长不同要素填写特点不一核心技术-服务过程自动记录-小结抽取行业经验美团实践一个模型搞不定所有问题，需要多模型融合分类也可以解决问题，需要有好的类别定义生成方案 + 抽取粒度需要细化到片段生成长文本处理：先抽关键信息，再分类/生成客服平均处理时长下降12% 20

21. 目录 01 客服辅助的业务背景 03 未来探索 T - 实时辅助引导技术 - 服务过程自动记录 02 核心技术工作 21

22. 话术推荐通过理解当前输入及历史对话，预测接下来可能的回复话术核心技术-实时辅助引导流程引导不同于话术提示，流程引导通过对当前通话内容和状态的判断，提示客服接下来可以采取的动作（包括话术）降低客服流程记忆费力度提升服务效率和准确性 T 对于客服不知道怎么表述，提供话术参考对于经常性重复的话术，提供快捷回复 22

23. Response Selection 核心技术-实时辅助引导-行业做法基于序列 ASAPP (2019) 把对话回复问题抽象为检索问题，通过对Query理解，从预定义的话术库中召回并进行相似度排序，找到最佳回复在线话术编码上文语义编码匹配关键词匹配/bm25 基于层次 SMN (Microsoft 2017) 获取系统信号特征 T 粗召抽取上文关键词精排话术库建设离线统计高频聚类高频过滤去重 23

24. 核心技术-实时辅助引导-行业做法 Task-oriented Dialogue System Natural Language Understanding (NLU) 传统意义上的流程引导可以视为客服视角的任务型对话系统，区别在于流程引导会一次性展示多步结果 NLU DST Base Response NLG T Utterance Knowledge DPL 意图识别槽位填充序列标注问题分类问题 Modular Based Dialogue System DM 领域分类 Dialogue State Tracking (DST) 推断对话状态和用户目标。对话状态指每个槽位的取值分布情况。 NLU尝试标记用户消息，而DST从用户消息中寻找值来填充预先存在的表单 Dialogue Policy Learning (DPL) 根据当前时刻对话状态，推断可以采取的动作监督学习强化学习 Natural Language Generation(NLG) 将对话动作转换为自然语言基于深度网络的Seq2Seq模型 24

25. 话术推荐可以从多个方向展开，不要求唯一准确性你们这个服务太差了，我要退款 1. 您好，很抱歉，请问要退哪个订单呢 2. 很抱歉，方便问一下是哪方面服务… • 3. 您好，很抱歉给您带来了不好的体验 • 挑战话术/动作可以以Pattern的形式提供给坐席，故 • T 不需要准确填充其中的槽位槽值 • 特点核心技术-实时辅助引导-美团客服场景请问您说的是[time]下的[shop]家的订单吗 • 话术多样性，带来模型学习的复杂性 • 业务多，不同业务执行流程差异大 • 场景复杂，难以整理出完整的执行流程图，供对话机器人使用 • 标注数据量巨大 • 场景总量1w+，每个场景Session数量 1k~5k不等话术和动作类别可以形成映射关系 • 您好，订单显示您已经收到餐了查询订单状态 25

26. 解决思路技术框架流程引导基于检索的话术推荐话术模板化精排话术多样业务多基于话术动作关联性意图理解话术&动作两阶段预测状态跟踪召回文本召回 T 充分利用对话历史，数据驱动基于taskflow 相关性排序规则排序建立粗粒度话术类别场景流程复杂核心技术-实时辅助引导-美团客服场景向量召回策略选择话术动作联合学习离线数据处理话术库构建流程挖掘动作类型梳理样本构建数据源标注困难利用匹配模型生产伪标签对话日志流程知识库业务信息 26

27. 基于检索的话术推荐核心技术-实时辅助引导-美团客服场景类比传统检索系统对话上下文在线对话上文客服回复前处理 Doc 召回 T ASR纠错、断句处理、Pattern化 Query 离线对话日志对话历史 + 回复候选话术排序推荐话术列表对话表征对话历史索引 27

28. 核心技术-实时辅助引导-基于检索的话术推荐召回文本召回 • 信息过于杂乱，不利于下游检索 • 丢失对话顺序信息，回复通常与最近几句话相关 T 短期上文：保留完整文本、保留角色信息长期上文：抽取核心历史信息机器人对话上文：增加对话初期背景信息 BoW Embedding 建立索引-所有上文直接拼接？ - Average pooling 向量召回 MLM-Bert Embedding ToD-Bert Embedding - Task-Oriented Dialogue Bert - Bert MLM - MLM - Average pooling - RCL - TF-IDF weighted average pooling Bleu Rouge-2 Rouge-L 文本召回 0.1262 0.1948 0.3059 BoW 0.1432 0.2260 0.3501 MLM-Bert 0.1496 0.2324 0.3548 ToD-Bert 0.1891 0.2767 0.3987 28

29. 核心技术-实时辅助引导-基于检索的话术推荐排序 Loss选择及样本构建 Pointwise • 排序问题转化为二分类问题->交叉熵损失 Linear + Sigmoid (U,V,|U-V|) V Bert + Pooling Bert +Pooling 对话上文候选回复 U • 正样本：客服说的下一句话 • 负样本：全局随机采样、技能组随机采样、召回列表随机采样 Sent Level-NSP 相关性 Sent Level-RG 流畅性 Token Level-MLM 可读性 T 用对话数据继续训练Bert R@1 R@3 B@1 B@3 NaN 0.1918 0.3412 0.1105 0.1995 MLM NSP 0.1955 0.3469 0.1132 0.2024 0.1966 0.1985 0.3454 0.3441 0.1138 0.1125 0.2009 0.1994 RG Pairwise • 对<context,answer+,answer->三元组进行分类，预测更加相关的answer • 正样本：客服说的下一句话 • 负样本：全局随机采样、技能组随机采样、召回列表随机采样实验表明，使用pairwise+召回列表负样本采样效果最好，比 pointwise baseline在R@1上高出2.4pp 29

30. 核心技术工作-实时辅助引导-基于话术动作关联性的流程引导基于话术动作关联性的流程引导 • 客服的话术和动作有显性或隐性的关联 • 话术模板和动作类型的空间都是收敛的，并可通过挖掘梳理 • 通过历史通话预测话术模板和动作类别，进而完成引导基于Taskflow的流程引导 • 复杂场景定义流程图成本过高甚至难以完成 • 牵涉模块多，易发生错误传递 • 鲁棒性和灵活性都较差建立话术模板建立话术到动作的映射训练数据构建话术类型挖掘动作类型定义话术识别模型话术模板抽象话术动作映射训练数据生成 T 离线在线推荐动作对话片段对话预测模型推荐话术

31. 动作+话术类别体系建设话术知识库冷启动建设流程 T 定义动作统一大类和细分小类 + 挖掘不同场景下话术模板核心技术工作-实时辅助引导-基于话术动作关联性的流程引导话术到动作的关联映射示例： • 您是什么原因要投诉骑手呢 à 询问问题-询问投诉原因 • 您实际是几点钟收到餐品的呢 à 询问问题-询问实际收餐时间 • 是这个来电手机号码下的订单吗 à 确认订单-确认手机号 31

32. 核心技术工作-实时辅助引导-基于话术动作关联性的流程引导话术&动作预测模型构建历史通话 <context1, 话术1, action1> 话术识别模型 <context2, 话术2, action2> 话术动作映射 … 训练数据生成话术知识库话术1: [E1, E2, E3 …] 话术2: [E7, E8, E9 …] 话术3: […] 话术识别模型正：<E1, E2, 1>, <E1, E3, 1>, … 训练数据生成 v Bert Encoder Bert Encoder <SEP> E1 对话上文对话表征 <CLS> 拓展话术1 E2 动作分类器动作分类器 <SEP> 对话上文对话表征 Rec F1 Acc 90.67% 57.38% 70.28% 58.57% 话术排序模型推荐话术推荐动作推荐动作推荐话术动作分布 Attention 拓展话术2 Pre 话术动作映射表策略3: 话术动作联合预测 T u 对话表征话术推荐模型策略2: 先分类动作后排序话术负：<E1, E7, 0>, <E1, E3, 0>, … cosine-sim(u, v) <CLS> 策略1: 先生成话术后检索动作对话上文话术知识库伪标签构建话术生成器 Attention 推荐动作推荐话术

33. 核心技术-实时辅助引导-小结美团客服场景辅助引导分为话术推荐和流程引导两种能力业务多流程复杂基于话术动作关联性的流程引导 T SentBert Pairwise-Loss 类别体系建设话术库建设动作类别映射关系文本召回向量召回排序基于检索的话术推荐召回标注困难话术多样伪标签构建基于匹配的话术识别预测模型话术动作行业经验美团实践经过对话任务预训练后的向量表征比原始Bert更有效多样的话术可以通过类别挖掘收敛到有限的模板上复杂繁多的流程可以通过话术动作的关联性进行预测客服平均处理时长下降3% 33

34. 目录 01 客服辅助的业务背景 03 未来探索 T - 实时辅助引导技术 - 服务过程自动记录 02 核心技术工作 34

35. 未来探索打造抽取+生成端到端模型知识融合客服辅助引导 Online learning 根据坐席采纳情况实时反馈，引导模型实时进化基于强化学习的引导 Reward：更高的采纳、更快的进入下一个环节 T 利用强化学习思路，通过摘要ground truth反馈激励抽取出更有效的片段服务过程记录融合业务知识和系统信号，在生成网络中，将服务对话中不全的信息，结合知识进行补全共情能力更及时的情绪检测和安抚话术提示

36. T THANKS & QA 36

37. T 更多技术干货欢迎关注“美团技术团队” 招聘：NLP算法工程师邮箱：panlu03@meituan.com