人物 | 詹坤林：AI技术助力CRM系统智能化

自1936年阿兰· 图灵提出「图灵机」以及机器具备「思维」的可能性以来，以机器学习为代表的人工智能经过飞速发展，深刻地改变着我们的世界。2021年4月16日-17日，由 Boolan 举办的全球机器学习技术大会在金茂北京威斯汀大饭店召开，大会特邀近40位机器学习领域的技术领袖和行业应用专家，与1000+来自电商、金融、汽车、智能制造、通信、工业互联网、医疗、教育等众多行业的精英参会听众，共同探讨人工智能领域的前沿发展和行业最佳实践。

58同城TEG AI Lab负责人詹坤林受邀在本次大会分享了《AI+CRM提升企业人效和业绩》。

我们可以参考内容阅读系统中的内容分发模型来建模CRM系统中的商机分发。在一个内容阅读系统中，系统通过搜索或推荐功能向用户展示（曝光）一个内容列表，用户会基于个人兴趣去点击阅读新闻，若对新闻内容有更深的兴趣会在阅读完后做评论、分享等转化操作，用户的行为路径是 "曝光 -> 点击 -> 转化" ，这里核心是建模用户兴趣和内容，以优化点击率、转化率。在CRM系统中，商机组销售人员拿到一个商机列表后需要拨打跟进所有商机，用户接通后与其沟通，形成有效转出商机，销售人员的行为路径是 "拨打商机 -> 接通商机 -> 形成转出商机"。从商机被拨打到接通更多是取决于商机本身，如商机联系人（用户）当前是否方便接电话、是否曾经被频繁拨打过、是否有购买会员的意愿等，从接通到是否形成转化取决于销售个人话术经验、商机联系人的意愿等，这里核心是对用户意愿度、销售个人经验的建模。

基于这样的定义，若要提高商机组转出商机数可以提升拨打转出率（转出商机数 / 拨打商机数），这类比内容阅读系统中的曝光转化率（CTCVR）。此外，业务方还关心接通转出率（转出商机数 / 接通商机数），即转化率（CVR），该指标反应了接通一个商机后形成转化的沟通成本，CVR越高成本越低，销售效率越高，工作信心也越大。CTCVR（拨打转出率）和CVR（接通转出率）两个指标都需提升，这是一个多目标优化问题。

商机智能分配系统的总体架构如上图所示，最底层是数据层，汇集商机数据、话务数据、销售行为数据等各类数据并做抽取，基于底层数据可以开展各类基础数据计算，如生成商机画像和销售画像、建立ES索引、计算商机和销售的向量表示等，再往上是核心算法策略层，包括各类召回策略和排序模型，基于此来实现搜索个性化排序和个性化推荐应用。

在一键申领场景，CRM系统有一个原始逻辑，在销售搜索商机时系统按照一个商机全局分值排序，具体流程为：每天凌晨由一个以拨打成单率（最终成单商机数/拨打商机数）为目标的机器学习打分模型给历史全量商机计算一个商机分值，该分值在ES（Elasticsearch）构建索引时写入索引，在销售搜索商机时，ES按该分值排序返回商机列表。我们采用搜索个性化排序新方案来替代原始逻辑，新方案分为召回层和排序层，召回层包括检索召回和向量召回，检索召回类似原始逻辑，不同的是我们训练了以拨打成单率、拨打转出率、接通转出率等为目标的多个商机打分模型，将所有分值写入ES索引，线上召回时基于用户输入的搜索条件做多路检索召回。在向量召回上，我们先后使用了FM模型、DNN双塔模型来得到商机向量和销售向量，线上使用58向量检索平台vSearch（内核为FAISS）做向量检索召回，首先使用销售向量检索出最近邻的若干条商机向量，然后过滤掉不符合搜索条件的商机。在排序层，我们先后落地了XGBoost、MMOE、PLE模型，同时提高拨打转出率（CTCVR）和接通转出率（CVR），这里的详细介绍可以参考文章《多目标排序在CRM商机智能分配系统中的应用实践》。

新方案上线需要做ABTest，合理的ABTest实验方式非常关键。各城市的商机组销售人员规模小，一般为10到30人，不同人员的销售经验差异也较大，若像传统推荐系统那样根据用户（销售）来分流对比，数据会容易有偏。因此，这里采取按照请求随机分流的方式来做ABTest，例如在一键申领场景下，某个销售人员点击搜索按钮得到商机列表时，可能本次得到的商机列表是走的是新逻辑，下次走的是原始逻辑。

在项目初期，为了快速落地机器学习，我们在召回层直接沿用原始基于拨打成单率的商机打分召回，仅扩大了召回商机数量，由原始数十条扩大至数百条，在排序层上线XGBoost排序模型，模型使用了销售画像、商机画像等各类特征，我们称这版逻辑为V1版模型。V1版模型ABTest上线后，效果相比原始逻辑每天稳定提升，拨打转出率相对提升了32%，接通转出率相对提升了13%，我们很快将V1模型进行推全。此后，我们在召回层新增了FM召回、DNN双塔模型召回，在排序层上线MMOE模型、PLE模型，这一版逻辑称为V2版模型。V2版模型ABTest上线后，效果相比V1版模型每天稳定提升，拨打转出率相对提升了62%，接通转出率相对提升了53%，此后我们将V2版模型进行了推全。

商机推送（也称商销匹配）即系统每天凌晨从历史商机库中向每个销售推送数十条商机，每日仅推送一次，销售人员上班后必须全部跟进完这些商机。这里CRM系统有一个原始逻辑，和一键申领场景类似，每天凌晨由一个以拨打成单率（最终成单商机数/拨打商机数）为目标的机器学习打分模型给历史全量商机计算一个商机分值，然后将所有商机从分值高到低排序，再将每条商机轮询分配给每个销售，直至每个销售分配满额，其余未分配的商机在一键申领场景会被销售搜索到。我们直接在商机推送场景上线了类似一键申领场景中的V2版本模型，不同的是在检索召回时是基于销售画像来生成的检索条件，从而实现了个性化推荐。这里的ABTest实验方式为每日凌晨给销售人员分配商机时50%商机来自原始逻辑，50%商机来自个性化推荐逻辑。个性化推荐逻辑ABTest上线后，相比原始逻辑每日取得了稳定的效果提升，拨打转出率相对提升了241%，接通转出率相对提升了83%，我们很快将个性化推荐逻辑进行了推全。

当前，我们还关注商机智能分配系统中的商机覆盖率指标，即历史全量商机多久能够被全部覆盖，这里主要是通过一些规则策略来实现，如在召回层中增加未跟进商机的强制召回，并在最终推荐时强制展示出一定数量的未跟进商机。这样的策略会降低最终的拨打转出率指标，需要控制相关阈值使得拨打转出率不能下降太多，这里不做过多描述。

机器人从CRM系统中申领一条商机后会自动发起外呼，首先向用户发送一段开场白语音，用户接通后会和机器人进行对话，用户可以向机器人提问或表达，机器人收到用户语音时会使用流式语音识别技术将语音转译成文本，并使用NLP技术识别出用户意图，进而回答用户提问或者向用户反问，机器人和用户就这样不断对话直至会话结束，人机对话详细流程可参考文章《人机语音对话技术在58同城的应用实践》。

机器人的效果提升涉及多个环节的优化，在商机申领时，可以为机器人开发独立的商机推荐模型，优化机器人拨打转出率；机器人对话录音可以通过语音合成或人工录音生成；在语音识别环节，基于场景数据优化自研语音识别引擎，自研语音识别引擎详细介绍可参考文章《3人半年打造语音识别引擎——58同城语音识别自研之路》；在人机对话时，用户的对话动作一般可以分为向机器人提问、回答机器人提问、陈述表达三类，机器人需要在这三类意图上有较好的识别效果，使得对话更加流畅，并最终识别出更多更准确的转出商机；机器人外呼的目的是做探需，通过不断沟通挖掘出用户的信息，因此向用户发送什么话术至关重要，这里机器人需要学习人工销售的经验，可以从人工销售沟通内容中挖掘出优秀话术，进而为机器人设计话术。

意图识别又可以分为单句意图识别和整轮意图识别。单句意图识别是指识别出用户的单轮对话意图，用以控制对话逻辑，单据意图效果越好，对话会越流畅。整轮意图识别是指在对话结束后，识别出该商机是否可以转出。整轮意图识别模块的准确率和召回率直接影响最终拨打合规转出率指标，拨打合规转出率等于正确转出商机数除以拨打商机数，正确转出商机数越多，拨打合规转出率才会越高，这需要通过优化整轮意图识别的准确率和召回率来实现。这里我们应用了TextCNN、LSTM、DSSM等文本分类、文本匹配算法，也应用了BERT、SPTM（Simple Pre-trained Model，轻量级预训练）等预训练模型，相关算法实现可以参见我们的开源项目qa_match，具体见《开源｜qa_match更新啦——支持轻量级预训练、提高问答通用性》。

单句意图识别中的关键一项是识别出用户的提问并做回答，只有回答对用户的提问才能将对话继续进行下去。这需要机器人有一个丰富的问答知识库，能够覆盖大量用户问题和答案。我们通过半自动问答知识库挖掘方法来扩充问答知识库，具体流程如上图所示。在机器人上线前，我们基于人工销售对话文本数据挖掘问答对加入知识库，并训练意图识别模型，使得机器人冷启动时能够具备一定回答能力。机器人上线后，线上产生了实际对话数据，可以从中挖掘出线上用户的真实提问，再结合运营人员填充答案，可以形成新的问答知识库，进而更新意图识别模型，通过这种方式持续丰富机器人的回答能力。我们的问答知识库挖掘工具发布在开源项目qa_match中，具体见《开源｜qa_match更新啦——新增知识库半自动挖掘模块》。

机器人外呼的目的是做探需，向用户发送什么引导话术至关重要，这里机器人需要学习人工销售的话术经验，保证一定的对话深度，对话越充分越能探查出用户的意愿度，机器人在整轮意图识别模块识别出的转出商机数才会越多。我们对人工销售合规转出录音数据进行分析挖掘，通过机器结合人工的方式得到优质话术应用于机器人，例如对于一个开始无意向的用户，销售人员通过不断沟通最终说服用户有意愿，这类话术在机器人对话中可以起到关键作用。

机器人的效果提升涉及商机申领、话术合成/录音、话术设计、意图识别、语音识别等多个环节，各环节需要由不同技术人员并行迭代，快速优化机器人效果，我们采用了多层ABTest实验的迭代方法，这类似推荐系统中的召回、排序、重排多层ABTest实验，可以归因每个环节的变化带来的最终效果提升，我们使用自研ABTest实验平台日晷（参考《58通用ABTest实验平台"日晷"的设计与实践》）来完成ABTest实验。

商机申领、话术合成/录音、话术设计、语音识别、单句意图识别这些模块的优化是为了在一个固定数量的商机集合上生成更多、更深、更流畅的对话内容，这些对话内容数据最终会输入整轮意图识别模块去判断是否可形成转出商机。输入的对话内容数据和相关特征决定了机器人的效果上限，整轮意图识别模型是去无限逼近该上限，我们需要通过优化各模块提高上限，并持续优化整轮意图识别模型的召回率和准确率去提高机器人实际效果。当前，我们打造的销售智能外呼助手在部分城市上已经达到人工销售水平的80%+，未来将持续深入优化，追求在全部城市上的效果提升，扩大应用价值。

在人工销售转出商机录音质检上，人工质检的覆盖率低、人效低，可以首先利用语音识别技术将录音转化为文本，然后使用NLP技术来实现机器自动质检。智能语音质检系统可参考文章《AI技术如何打造智能语音质检系统》。

在当前场景下，质检模型是识别出商机录音是否可以转出，这和销售智能外呼助手中的整轮意图识别模型类似，只是输入质检模型的数据是人工销售对话文本。质检模型优先保证准确率，再持续提高召回率，当前我们已上线基于机器质检结果的销售绩效自动扣减，即机器识别出不合规转出商机时自动扣减对应销售人员的绩效。语音质检还可以应用于高投诉风险商机预测、销售沟通自动摘要等应用上。