强化学习在黄页商家智能聊天助手中的探索实践

摘要

本地服务（黄页）微聊代运营模式是指人工客服代替58平台上的商家与C端用户IM沟通聊天以获取商机（如用户联系方式、细粒度需求信息等），再将商机转交给商家，促进商家成单。我们基于58AI Lab自研的灵犀智能语音语义平台构建了智能客服商家版，将其应用在微聊代运营场景下，通过人机协作模式提高商机获取效率，打造了黄页商家智能聊天助手。这里的人机协作模式先后经历了三个阶段：在早期机器人效果较一般时，机器人和人工客服分时工作，即人工客服不上班时才由机器人接待用户咨询。在经过优化机器人效果较优时，先机器人再人工，即当用户来咨询商家时，白天先由机器人接待，若机器人能够聊出商机则结束会话，若不能再转接人工客服，晚上使用纯机器人接待。在机器人效果和人工很接近甚至超过人工时，使用纯机器人接待，人工客服去从事其他更复杂的工作。2021年年初，黄页商家智能聊天助手被商业化，以“微聊管家”命名随会员套餐一起打包售卖给商家，全年共计服务了数万个商家，为公司创造收入超过五千万元。当前，机器人的商机转化率（聊出商机的会话数/总会话数）已达到了人工客服的98%水平，我们实现了纯机器人接待，节省了数十名客服人力。

黄页商家智能聊天助手属于留资机器人，与以回答用户提问为主的QA问答机器人不同，留资机器人的主要任务是引导用户留下资料信息，不仅要做自动问答，还需要做多轮引导，技术挑战更大，对话策略更为复杂。我们在部分黄页类目下实践了基于强化学习的对话策略，商机转化率绝对提升了10%，本文主要分享我们基于强化学习的对话策略实践。