标签会说话？揭秘58本地服务标签挖掘实践

原创岳鹏涛 58技术

导语

本文主要介绍了标签挖掘过程中的实践方法，包含基于模型的挖掘和基于统计规则的挖掘方式及其适用的场景。希望对大家有所帮助和启发。

背景

什么是标签？标签是通过对帖子内容分析得到的高度精炼的特征词或短语，将帖子内容标签化可以突出帖子特性，实现帖子内容结构化，帮助用户更快定位到所需要的服务，提升用户体验。

在整个标签挖掘过程中，我们首先对中文分词进行了选型，对比了多种分词工具的分词效果，综合多方考虑，最终选择使用HanLP作为分词工具包应用到标签挖掘工作中。在标签挖掘实践中，我们迭代了相似词、组合词、热搜词等方案，不断丰富标签系统。最后也是目前我们的主要工作是对标签的优化，提升标签质量。

中文分词

中文分词是将汉字序列切分成一个个单独的词。在英文中，单词之间是用空格分割的，但是中文没有明显的分割符，因此我们就要对一句话进行分词，比如“北京小红帽搬家”分词序列为：“北京”、“小红帽”、“搬家”。

目前已有数十种开源分词工具，我们选择了其中的四种：HanLP、IK、Ansj和jieba进行了对比。评价一款工具的好坏，需要一个黄金标准，在此我们选择了最具权威性的分词结果——SIGHAN和人民日报2014年的分词数据源。首先对数据源进行预处理，一是去除数据集中的符号（标点符号、特殊字符等），二是不拆分标准数据集中的专有名词。评测指标有准确率（Precision）、召回率（Recall）、F值（F-measure）和错误率（ErrorRate）。具体对比结果如下表所示。

4种分词工具分词效果对比表1

分词系统	Precision	Recall	F-Measure	ErrorRate
HanLP	0.803	0.803	0.803	0.197
IK	0.739	0.741	0.740	0.262
Ansj(crf)	0.927	0.929	0.928	0.074
jieba	0.803	0.804	0.803	0.198

数据源：SIGHAN，数据量498KB

4种分词工具包分词效果对比表2

分词工具	Precision	Recall	F-measure	ErrorRate
HanLP	0.838	0.856	0.847	0.165
IK	0.717	0.753	0.735	0.297
Ansj(crf)	0.727	0.803	0.763	0.301
jieba	0.758	0.802	0.779	0.256

数据源：人民日报2014数据，数据量10.7M

使用两份不同的分词数据源得到上述两张分词效果对比表，由表1可以看到Ansj的分词效果最好，HanLP与jieba的分词效果相当，IK分词效果最差。由表2可以得出HanLP的分词结果最好。因此我们选择使用HanLP作为我们标签挖掘的基础分词工具，还可以根据业务调整其开源代码，可更好的适配业务场景。由于时间有限，其他分词工具对比可参考文献1。

标签挖掘演进

确定了分词工具，我们开始进行标签挖掘，数据源统一是黄页帖子IMC日志数据，因为黄页二级类目较多，类目间关联性较低，因此分类目训练模型，并实现自动化迭代。

标签挖掘及审核流程图

1. 找相似挖掘

找相似挖掘的思路来源于前期产品同学给出了重点类目的一批标签，基于此，我们尝试使用与已有标签相近的词挖掘新标签。首先从HDFS中读取前N天的日志，分品类对数据进行清洗，根据帖子图片个数、帖子内容长短对帖子实现初步过滤；然后使用HanLP进行分词，根据词性过滤人称代词、形容词、数词等，通过TF-IDF抽取帖子关键词，训练词向量模型，最后计算与种子词相似的词作为新的备选词。