为客服构建更加智能的对话机器人：多轮应答时机触发模型

尽管如此，学术界关于何时才是恰当的回复时机的研究却非常少。Google在Smart reply系统中提出了Triggering model，通过对邮件数据进行标注并训练一个二分类模型来判断某一封邮件是否应当被回复。然而在智能客服领域，对话具有半开放、多轮交互的特点，会话级别的标注成本十分高昂并且难以覆盖长尾意图。另一方面，由于在线客服经常同时服务多个客户，在回答客户的同时还要查询知识库、查询工具系统来解决用户的问题，针对某个客户的问题，客服往往不能及时的回复。这就削弱了客户和客服的对话日志中本应携带的有关应答时机的监督信息，并导致以监督学习的方式训练应答模型变得不可行。

在本文中，我们提出了MRTM模型，它基于自监督学习机制来学习一个给定的上下文是否应当被应答。具体来说，MRTM引入了多轮对话答案选择（Multi-turn Response Selection）作为辅助任务。它通过给定上下文和候选回复，选择正确回复来建模给定上下文和候选回复的语义匹配关系。在建模多轮语义匹配模型中，我们提出通过一种非对称注意力机制来获取给定上下文中共现句子的重要度关系。这是基于这样的观察，即那些具有更高注意力得分的句子往往需要被回复，而那些较低分数的句子则可以被忽略。本文在滴滴客服对话数据集、京东客服对话数据集上进行了实验，结果表明MRTM大幅优于基于规则和基于监督学习的基线模型，同时超参数实验表明，增加训练数据可以有效的提升自监督学习任务的效果。MRTM模型被集成至滴滴智能客服系统中，为司机、乘客和客服提供更加智能的服务。

在智能客服场景中，应答时机判断问题较为复杂和困难，主要体现在以下三个方面：

1. 应用于智能客服的应答时机判断模型需要具备多轮建模的能力，在不同的上下文语境下，用户发送相同query的情况下需要模型表现出不同的应答行为。例如用户发送“你好”，如果此时会话处于刚开始时，则欢迎语是较好的回复，如果是在等待查询结果时，欢迎语则很容易引起客户情绪上的不满。
   
   

2. 应用于智能客服的应答时机判断模型对于预测的准确率和召回率要求都较高，“频繁”回复和“哑”回复均会导致不好的对话体验。在客服场景下，对话通常是半开放的，客户和客服的话题可能从业务和闲聊中频繁切换，这使得标注需要覆盖大量的会话日志，成本十分高昂。相比之下，其他与回复触发时机有关的任务，例如token级别上触发预测的任务(back-channels)则对召回率并不敏感。
   
   

3. 客服坐席通常同时服务多个客户，由于查询知识库、查询系统判责处置结果、输入延时或网络延时等原因，客服往往不能十分及时的回复客户的问题。这导致以客服回复时机作为监督信号来训练应答响应模型变得不可行。

针对以上挑战我们提出了基于自监督学习的MRTM模型。

我们首先引入给定上下文和候选回复，选择正确回复任务作为辅助任务来协助应答模型训练。这是基于这样的事实：虽然客服往往不能及时回复某个客户的问题，但他们总是会尽快的对那些必要回复的问题作出回复。因此上下文与真正的回复之间满足大致的语义匹配关系，并且那些对语义匹配贡献程度较大的客户句子是应当被回复的，而那些对语义匹配贡献程度较低的客户句子应当被忽略。我们将上下文看做是多个重叠的局部上下文的组合，使用了滑动窗口对每个局部上下文中的客户句子进行建模。在每个滑动窗口内，我们提出了一种非对称自注意力机制来保留客户句子中重要的意图，并滤除无关的意图。非对称自注意力机制使用每个局部上下文窗口内的最后一个句子作为key，与所有句子进行attention计算得到一个局部上下文窗口的表示。非对称自注意力机制强迫每个局部上下文窗口内的末尾句子首先关注到自身，其次向前关注。这是基于“某个客户的句子距离客服的回复越近，越有可能代表局部上下文的意图”的经验。值得强调的是，非对称自注意力机制可以减缓经典的自注意力机制引入的重要度偏差，如果使用经典自注意力机制，那些客户的高频问题倾向于在所有局部上下文窗口内都有很高的权重，从而干扰局部上下文窗口中最后一个客户问题的应答召回率，增加机器人的错误静默几率。

我们仅将局部上下文应用于客户的句子。这是因为在多数场景下，客服的回复均是完整且清晰表达的。在其他场景下，如果有必要也可以将局部上下文应用于会话的双方。当获取到所有局部上下文窗口表示之后，我们仅提取那些末尾句紧邻客服回复的局部上下文窗口和最后一个局部上下文窗口对应的表示，和所有的客服回复重新组合为上下文来建模时间上的序列关系。

▬

2017年7月加入滴滴，任高级专家算法工程师，负责智能客服算法和架构工作，包括客服机器人、机器人平台、预测推荐、人工客服智能辅助等。2010年硕士毕业于北京航空航天大学，硕士论文获得优秀学位论文。曾在腾讯、阿里巴巴公司工作，专注于广告推荐、问答对话领域的算法研发。在KDD等会议发表多篇论文，发表多篇国内国际专利，担任TKDE等期刊，KDD、AACL等会议的审稿人。

团队招聘

▬

滴滴智能中台集结了中台产品技术、AI能力和体验平台技术，致力于为集团各业务线提供行业领先的专业服务，当前已沉淀了账号、支付、计价、触达、IOT、体验等核心中台能力；AI技术已深入应用于安全、智能运营、智能客服、智能驾驶等场景；持续通过搭建客服及体验平台等技术手段，提升用户体验问题的解决效率。智能中台是一支专业、多元、高效、务实的团队，坚持用技术赋能出行领域，力争成为业内多快好省的中台标杆。

滴滴智能客服团队基于滴滴积累的海量交通出行场景数据，研发智能客服机器人（FAQ问答，多轮对话，智能反问，情感安抚等）、机器人平台、预测推荐（猜你想问，智能路由，IVR菜单预测等）、人工客服智能辅助（智能回复、工单摘要生成、工单标题预测）等，并将上述技术应用在滴滴数十个国内、国际业务。

团队长期招聘NLP和预测推荐方向工程师和专家，工作内容不局限于：意图识别，实体抽取，对话管理，对话问答生成，搜索排序，情感分析，基于特征的预测推荐，知识图谱，迁移学习/多任务学习，对抗学习等。欢迎有兴趣的小伙伴加入，可投递简历至diditech@didiglobal.com，邮件主题请命名为「姓名-应聘部门-应聘方向」。

扫码了解更多岗位