基于一种改进的Wide&Deep 文本分类在用户身份识别上的实践

图 1 用户身份识别的整体流程

在本文中，主要介绍的是用户身份识别整体流程中的自然语言处理环节。首先，介绍了在自然语言处理环节中如何破解冷启动时少样本的问题；然后详细阐述了不同算法模型的特点与实现过程；最后，对比了不同算法模型在相同测试集上的评测效果。

在标注数量过少的情况下，往往无法直接使用机器学习模型，因为直接使用机器学习模型会产生过拟合问题，使模型的性能达不到预期。而样本不平衡问题是指有用的类别样本所占比例太小，会极大地降低标注的效率。比如正样本的数量仅占1%，标注100条数据，仅有1条正样本，而在真实的业务场景中往往只关注正样本。

面对这样的业务场景，本文总结开发了冷启动流程和方法，破解冷启动困局，减少对标注的需求，快速进入模型的迭代优化开发。本文主要分3个阶段解决冷启动问题， 如图2所示。

图 2 冷启动和样本收集流程

第一阶段是定义标签。在这一阶段需要结合业务场景，确定落地的目标和标签的定义。定义标签的原则是先易后难，不同标签之间有明显的差异，方便人工标注和算法迭代。

第二阶段是算法识别。利用已有的标注样本进行数据分析，得到数据的分布特征；然后根据数据分布的特征使用算法模型，预测得到正样本。

第三阶段是持续迭代。对算法识别的结果进行人工标注，总结识别错误情况的特点。并将标注的数据和总结的特点反馈给算法模型，不断扩大标注数据集和提升算法模型的泛化能力。

然后重复第二、三阶段，形成一个良性循环，扩充样本数据集和提升模型的性能。

为了识别用户的身份，本文依次尝试了关键词匹配、XGBoost、TextCNN、模型融合、改进的Wide&Deep等模型。接下将分别介绍各个模型的特点和实现过程。

1.关键词匹配

在项目早期，缺少标注数据。为了解决冷启动问题，可以使用关键词匹配模型识别用户身份：利用TF-IDF算法和人工挖掘关键词，然后再利用关键词获得文本标签。人工挖掘关键词是指通过人工分析语料数据，总结得到关键词。而TF-IDF算法则是通过计算TF-IDF值，筛选得到关键词。TF-IDF值计算方法如下所示：

      

TF表示词频，IDF表示逆文档频率。当一个词的TF-IDF值越高，越有可能是关键词。

关键词匹配模型有许多优点：具有即用性和可解释性等特点。关键词匹配简单、灵活，在很小的数据上进行规则表述与训练，能实现“即插即用”；同时关键词匹配具有良好的解释性，能很好解释匹配到的结果。所以在冷启动时期，采用了关键词匹配模型进行算法迭代。

虽然关键词匹配在项目早期取得了较好的效果，但是随着时间的积累和数据量的增加，关键词匹配的效果逐步下降。为了优先提高关键词匹配的准确率，对关键词模型进行了迭代优化。

这里主要采用两种优化策略：一是组合关键词；二是设置关键词阈值。

• 组合关键词

关键词可以分为强关键词和弱关键词。对于强关键词，识别准确率很高，可以直接使用；而弱关键识别的准确率较低，一般不直接使用。通过将弱关键词进行组合，具有很高的准确率，进而形成强规则。

• 设置关键词阈值

统计不同关键词命中的次数，对命中次数设置阈值。

迭代优化后的关键词匹配模型取得了不错的效果，准确率为98.75%，召回率为37.44%，F1 Score值为54.3%。然而，早期的数据量很少，不足全量数据1%；随着数据量的逐步增加，关键词匹配模型的识别效果逐步下降。为此，本文迭代开发多种模型，增加模型的多样性，进而提高识别效果的稳定性。

2.XGBoost模型

随着时间的积累，数据量逐步增加，关键词匹配模型识别效果逐渐变差，存在着识别效果不稳定的问题。因而，为了增强识别结果的稳定性并提高召回率，采用Xgboost模型作为第二版模型：利用对话文本的词频特征，训练XGBoost模型。如图3所示，将对话文本首先按顺序进行拼接，然后将计算文本的词频特征，输入给XGBoost进行分类。

XGBoost模型识别的准确率为96.77%，召回率为42.65%，F1 Score值为59.21%。与关键词匹配模型相比，XGBoost模型的F1 Score值提升4.91%，且XGBoost模型识别的效果具有更好的稳定性。关键词匹配模型仅使用少量的关键词，容易受到文本和ASR识别错误的影响；而XGBoost模型将文本分词后，提取的词典特征多达30000多个，特征数量远远大于关键词匹配模型所用的关键词数量，因而XGBoost可以捕捉到更多的特征信息，所以XGBoost模型具有更好的稳定性。

图 3 XGBoost模型

3.TextCNN模型

虽然XGBoost具有较好的稳定性，但是对于方言语音识别的文本，XGBoost模型仍然会受到较大影响。关键词匹配和XGBoost模型实质上用到的都是“词级”特征，使用“词级”特征表征语义具有一定局限性，无法完整的解析语义信息；另外，关键词匹配和XGBoost模型都依赖于文本的正确性，而语音识别转文本会产生许多错误的文本，对上述两个模型有较大的影响。

随着数据量的增加，训练标注样本数目的不断增加，在大量数据集下使用深度学习模型比关键词匹配和XGBoost模型更具有优势。这种优势主要体现在特征抽取方面，比如，TextCNN可以完整的提取文本语义，而且TextCNN也可以根据对话文本提取出句子之间的结构信息。因而结合语义特征和句子结构特征，TextCNN具有更好的效果和更好的稳定性。TextCNN模型识别的准确率为99.02%，召回率为48.34%, F1 Score为64.97%。

如图4所示，这里展示了了第三版TextCNN模型：首先将所有的发言文本拼接成长文本输入给TextCNN，由TextCNN进行提取特征，最后输出识别的结果。

图 4 TextCNN模型结构

4.融合模型（关键词匹配+XGBoost模型+TextCNN）

在关键词匹配、XGBoost和TextCNN这3个模型中，TextCNN的效果和稳定性最好。然而，在保证准确率的前提下，为了提高召回率，这里迭代第4版模型：将关键词匹配、XGBoost和TextCNN模型的结果融合在一起，通过增加模型的多样性，既保证高的准确率，又提高召回率。

图5展示了关键词匹配、XGBoost和TextCNN融合模型的原理：首先，将对话文本经过预处理后，分别输入给关键词匹配、XGBoost和TextCNN模型；然后，将XGBoost和TextCNN两个模型的打分取平均值；最后，设置2个阈值条件：（1）当XGBoost和TextCNN的平均值大于0.75，则认为是正样本；（2）当XGBoost和TextCNN的平均值大于0.6且触发关键词匹配条件，则认为正样本。

图 5 关键词匹配、XGBoost和TextCNN融合模型

融合模型包括了关键词匹配、XGBoost和TextCNN三个模型，其识别准确率为100%，召回率为54.03%，F1 Score为70.15%。在融合模型中，XGBoost模型擅长捕捉文本中的词频信息，但是无法结合上下文和捕捉语义信息；TextCNN模型可以解析文本中的语义信息和句子结构信息。通过融合XGBoost和TextCNN模型，可以利用两个模型的优点：既可以挖掘到文本词频信息，又可以提取文本的语义和句子结构信息。关键词匹配模型会产生错误的识别结果，通过XGBoost和TextCNN的阈值作为约束，可以减少关键词匹配的识别错误，进而提高识别的准确率。

5.改进的Wide&Deep模型

在融合模型中，模型是手动地将词频特征、语义特征和句子结构信息融合在一起，然而手动融合存在无法准确挖掘特征信息的问题；因而本文决定使用Wide&Deep模型联合学习多种特征。图6显示的是原生的Wide&Deep模型，其deep部分（DNN）无法有效的挖掘语义信息，导致识别效果较差，原生的Wide&Deep模型识别的准确率为98%，召回率为46.44 %， F1 Score为63.02%。为此，本文提出了一种改进的Wide&Deep模型，如图7所示，本文将Wide&Deep模型的Deep部分替换为TextCNN模型，而Wide部分仍然为LR模型。对于改进的Wide&Deep模型，Wide部分的输入特征为词频特征，Deep部分的输入特征为对话文本。通过联合学习训练改进的Wide&Deep模型，利用Wide部分挖掘词频信息，而利用Deep（TextCNN）部分挖掘文本语义和句子结构信息。

由于改进的Wide&Deep模型综合使用了多种特征，因而改进的Wide&Deep是5个模型中的最优模型。其识别用户身份的准确率为98.63%，召回率为68.25%，F1 Score值为80.67%。   

图 6 原生的Wide&Deep模型结构

图 7 改进后的Wide&Deep模型结构

经过一系列的迭代优化，共产生了5个模型。本文对这5个模型在相同测试集进行评测，对比不同模型的表现效果。从表1中可以看出，这5个模型都具有高的准确率，准确率都在96%以上，满足业务对准确率的要求；另外，对比这5个模型的F1 Score值，发现F1 Score从大到小依次是：Wide&Deep（改进）>融合模型>TextCNN模型>XGBoost模型>关键词匹配。F1 Score值最大的是Wide&Deep，达到80.67%；而F1 Score值最小的是关键词匹配模型，仅为54.3%。F1 Score的对比结果说明，模型的效果与上文分析模型的优缺点相一致。

本文主要介绍了用户身份识别任务冷启动和样本收集的过程，介绍了用户身份识别算法模型的迭代过程，详细阐述关键词匹配、XGBoost、TextCNN、Wide&Deep等模型特点和实现方法。在项目早期，适合使用关键词匹配快速启动项目；随着数据的增多，TextCNN和Wide&Deep模型更具有优势，且效果更好。

福利环节

 为了鼓励优质内容传播，【58技术】公众号近期会持续推出不定期活动奖励。

1. 留言区发表话题#我眼中的智能语音#，即可参与此次活动
   

2. 活动奖励：抽取留言点赞前3名送出定制版代码台历

3. 活动时间：截至2020年12月27日。