基于双模检测的通话录音质检解决方案
导读：本文针对客服通话录音质检场景，提出了一套智能质检解决方案，可对通话内容中标准话术、红线词和相似语义话术进行检测，通过双模检测模型同时提升了检测算法的准确性和泛化性。
一、背景
很多企业拥有中大型电销或客服中心，每天与客户产生成千上万次沟通。沟通的质量，决定了企业的收入或客户满意度。企业监督业务人员的沟通质量和执行力的过程，被称为质检。市面上有很多面向销售和客服人员的语音质检系统、文本质检系统，绝大部分产品实际使用的是基于“关键词+正则表达式”的机器质检系统。这种方法的主要优点是部署和上手使用都比较快，主要缺点是存在非常严重的漏检和错检情况。就像一个漏孔很大的筛子一样，难以满足企业对质检的需求越来越精细、对质检效率要求越来越高的发展趋势。
二、目标
针对以上难题，本文提出了一套基于双模检测的通话录音质检解决方案，结合规则与模型算法，对客服的通话录音中的关键话术、红线词进行自动化监控，既要保证检测的高精度和对业务新增检测任务的快速响应，又能检测出客服通过不同方式来表达的标准话术。对教育场景下的扩科、续报、满意度回访等意图进行监控，促使客服完成特定意图的沟通，从而提升服务满意度（NPS）、扩科率和人均科次等业务指标。
三、前期准备
3.1 相似语义库构建
作为相似语义检测的语料基础，我们需要根据业务方提供的质检语义信息构建相似语义库。例如业务方提供了一条“扩科任务”的标准话术：“孩子其他的学科怎么样？”，可以看出，句子中的关键部分为“其他学科怎么样”，所以我们需要针对这个句子构建相似语义句。构建的步骤首先我们使用HANLP库对句子进行分词得到“其他”、“学科”、“怎么样”，接着，使用Synonym工具对每个词计算同义词，如下图所示。
最后，将所有的同义词进行全排列，即可得到相似语义句，如下图所示。针对所有业务方提供的标准话术进行以上操作即构建出相似语义库。
3.2 分句模型
在进行双模检测之前我们先需要对句子进行分句处理，因为从大量的实际例子可以看出，ASR返回的文本并不能保证句子断句的准确性，经常将多个句子合并成一句，这样的话会对后面句法分析带来较大干扰。所以，我们基于BERT以序列标注为目标训练了一个分句模型。值得注意的是对于分句这种任务，使用focal loss可以较好的应对label分布不均衡的问题。分句示意图和模型训练过程如下图所示。
3.3 语义分类模型
针对当前业务方提供的所有语义标签（学习内容分析、确认信息、提及其他科目、自我介绍、规则解读、满意度回访、课堂反馈、问题确认、入学适应情况、考试情况、学校学习进度、铺垫下学期知识难度及升学压力、学习建议、询问月考、询问其他考试、课程规划、分析学科关联性、给其他科目学习资料、优惠、其他等），基于roberta训练一个多分类模型，相对于相似语义规则模型，端到端模型省去了相似语义库的构建过程并具有更高的泛化性。模型的训练过程分为经典的further pretrain 和 fine tune两部分，测试集预测结果如下图所示，p r f1宏平均为0.93 0.87 0.89。
四、检测
第一步，我们对ASR结果进行分句处理，得到最细粒度的通话录音文本。
如果相似语义句中的词在待检测句中均存在依存关系则判定待检测句命中检测规则。
五、结果展示
我们将结果数据库内的检测数据展示到可视化平台并提供一些统计数据，供质检员和业务老师使用，如下图所示。
六、流程图
七、总结
本文中，我们提出了一套基于双模检测的通话录音质检解决方案，能够满足业务老师对于检测平台检测精度高、对新增检测任务响应快、检测泛化能力强的要求。
八、参考文献
1.《智能质检白皮书》——循环智能
2.《RoBERTa:A Robustly Optimized BERT Pretraining Approach》