1. JD 俞晓光 京东算法专家 2022年05月27日 京东智能客服言犀意图体系搭建和意图识别技术实践

2. 系统介绍 意图识别 对话管理 意图体系 梳理清晰、完备的知识体系/用户表 述 将用户问题精准识别到已有知识点 听得懂 离线有知识 线上能识别 对话流程 强大的异常处理机制 有方案 接口打通，答案拼装 解决方案 深入业务系统 足够的权限+清晰的描述 JD 记得住 高效的配置、挖掘工具，设计自然 流畅的对话流程

3. JD 系统介绍-意图体系示例 层级意图 • 从粗到细，顶层固定，底层可灵活变动 高频+长尾组织模式 • 高频意图精细运营，保证识别效果 • 长尾意图实时生效，快速实现人工干预

4. JD 意图识别框架 通用三层架构： • 离线搭建合理、完备的意图体系。 • 线上通过主动拦截，高频精准识别、长尾意图引导、形成漏斗形模块。 • 数据回流，通过线上问题，完善意图体系、用户问法

5. 意图体系建立 通用知识库 JD 意图体系梳理流程 标准化梳理流程、人员角色，全流程工具提效 大客户：人力充足，海量意图，识别效果要求高 小客户：人力不足，少量意图，人效要求高 春晚X项目：与现有意图搭配，效果要求高，时间短 意图库与识别算法、方案库解耦，定义不同类型意图

6. 问中 问题预判 输入提示 • • 语义匹配中结合各类意图 信息 建立语料自动更新机制 问后 关联推荐 • • • 意图下问法 全流程围绕用户核心意图进行引导，搭建全自动更新机制 锁定意图 JD • • 打造通用预判引擎，新业务快速 接入 海量数据沉淀：用户画像、咨询 历史、订单状态、行为轨迹 基于线上实时咨询意图分布自 动迭代模型 • 问前 主动拦截-启发式问答 Beyond QA: ‘Heuristic QA’ Strategies in JIMI, DASFAA 2022. (CCF-B) 流转意图 AI推荐与运营配置结合， 提升系统多轮能力 综合统计特征、意图特 征、相关性特征推荐关 联问题 自动挖掘，即时推荐

7. 识别模式 工作内容 离线 线上 JD 算法 高频意图识别算法 算法特性 1. 意图体系稳定，运营人员充足， 1. 按类别识别，数据量有保障时泛华能力强 有大量训练数据 2. 模型和意图体系绑定，意图/语料有变动需重新训 2. 意图体系合理，类别间区分明 练 显 分类 输入：用户问题 标注大量训 输出：属于每个意图的概 无 练语料 率 匹配 输入：用户问题 & 候 1.按问句识别，泛华能力较弱 标注少量训 标注大量候选 选问题对 2. 模型和意图体系解耦，增加候选问题无需重新训 练语料 问题 输出：问题对的相似度 练 适用场景 1. 意图体系经常变动，运营人员 较少或数据较少 2. 类别间有一定混淆

8. Lasertagger-MT 模型（GPU） 基础模型使用 IcsBert LaserTagger 序列识别 keep和 delete标签， 序列标注任务1 序列标签对语义token加权，意图分类任务2 • • 长尾意图识别-长难句识别 • 基础模型使用 IcsBert_tiny 两层模型参数迁移 基于CRF的关键词识别，序列标注任务1 关键词标签对token embedding 加权，融合 token的 SWEM、CNN特征，做意图分类任务2 Lasertagger-MT 模型图（GPU） 多任务长句意图识别模型（CPU版） 数据集2（长短句不完全包 含） Bert（GPU版） 82.56% 78.49% Lasertagger-MT（GPU 版） 85.69% 83.51% IcsBTH-cls（CPU版） 80.9% 77.4% ICSBTH-MT (CPU版) 83.03% 79.32% JD 数据集1（长短句完全包含） 模型 • • • IcsBert_tiny-MT 模型（CPU） A Two-stage User Intent Detection Model on Complicated Utterances with Multi-task Learning， www 2022

9. JD 将单个意图拆分为：动作、业务、场景、问法四个因子 离线半自动搭建知识图谱，生成训练数据，获取识别模型 线上针对因子式进行精准反问 • • • 长尾意图识别-多因子识别 A Multi-Factor Classification Framework for Completing Users' Fuzzy Queries, AAAI 2022. (CCF-A)

10. JD 通过引入对比学习提升句向量生成质量 通过Drop生成对比样本，增加类别对比损失、样本对比损失 多个公开测试集达到SOTA效果 • • • 意图回流 x " 第i个样本 第i列表示x " 这个样本属于各个簇的概率分布 c $ 第k个簇 第k行表示c $ 这个簇上的单个样本概率分布 SimCTC: Simple Contrast Learning Method of Text Clustering, AAAI 2022. (CCF-A)

11. 主要改进点 识别算法-基础预训练模型 提出提示性多任务并发学习（类prompt）模型结构 IcsBert（Bert in Intelligent Customer Service） 同时兼顾 SOP、QQ匹配、QA问答多种任务预训练数据集 下游任务first token：[CLS]处理分类任务、[QQ]处理问题匹配任务、[QA] 处理问答匹配任务 • • • 预训练数据集构建 • • JD • 扩展SOP任务：同一session看做一个Doc，上一句为1，下一句为2，随机 句为 0 QQ任务：使用对话数据日志，采用召回方式构建，同一意图标签为1，不同 意图标签为 0 QA任务： 人人对话数据，同一角色连续话术合并，Q为用户连续话术，A为 客服连续话术 匹配数据集 分类数据集 Bert-base 0.8766 0.9010 Bert + domain_data 0.8882 0.9137 Bert + domain_data + 结构优化 0.8936 0.9186 Roberta-Large 0.8991 0.9138 Roberta-Large + domain_data + 结构优化 0.9000 0.9242 模型 模型效果对比

12. JD Thanks