淘宝用户体验VOC标签体系

和预测的置信分数队列

1. 对于商家客服的session，首先将其按照时间分拆为不同的touch，进一步去除废话、黄暴等文本，分拆成单条关键message，在粒度上和其他文本进行统一。
2. 对分散的数据，按照一个buyer_id在一个time_stamp就一个item_id向一个seller_id的发起文本沟通的用户行为动线进行原声的关联。需注意，当用户是从详情页进入客服页面，item_id值不为空，当用户是从消息页进入客服页面，且session中不包含商品链接时，item_id为空。
3. 对所有来源的VOC文本数据，基于生成的message_id，加上seller_id和时间戳生成MD5编码做弹内全局唯一标识primary_key。
4. 标签整合：对淘内存量的VOC原声数据-标签进行分析后发现，不同源头的标签原声数据交集比例极低，即各方都是基于全量VOC原声中的某一子集做生产。因而对于不存在交集VOC原声-标签，可直接做拼接。存在交集的部分，以行业需求为最高优先级进行去重计算。
5. 标签结构的维护

• 标签体系的结构以ODPS维表的形式维护，后续的项目迭代及整合均以该维表的变更为准

• 淘内各存量源头与标签体系的映射关系分别维护ODPS维表，供原始查询使用。

• 当前存在主要难点

• 当前实施的技术路线

1. 对于聚类算法启动时需要的eps、 min_samples、簇数等关键参数，以实验得到的经验值为基础，在做实际场景的聚类计算时基于经验值做微调，该路线优点是计算速度快，缺点是以存量实验为基础，在面对越来越多的下游场景时，经验值往往“不靠谱”。
2. 对于聚类算法启动时需要的eps、 min_samples、簇数等关键参数，进行大范围的参数策略搜索，得到最优启动参数值，该路线的优点是保证参数策略最优解，缺点是需要消耗大量ODPS队列计算资源，运行速度慢。

1. 通过实验，确定在聚类中，文本表示的最佳方案为TFIDF和基于BIO+CRF生成的二元关键短语的方法。
2. 算法选型综合考虑，确定DBSCAN和层级聚类作为基本聚类算法。对于DBSCAN启动所需的半径、最小样本数参数组，层次聚类所需的簇数参数，基于全量VOC数据，在大跨度范围内进行暴力搜索，得到最佳参数组，并进行存储。
3. 将分词+TFIDF+最佳参数组封装为UDF函数提供给下游使用，仅支持DBSCAN和层级聚类，下游基于UDF中的最佳参数做一次性计算，快速得到聚类结果，允许进行小范围的参数微调。
4. 下游完成一次性计算后，会将下游场景下进行聚类的文本数据及聚簇结果通过函数insert到线上VOC数据表中，次周将基于合并后的新数据集进行暴力搜索计算，得出新的最佳参数组。

交付模式优化

1. 对于需要进行批量大规模训练生产的标签需求，如【详情行业化】，以标签生产结果ODPS表交付

2. 对于轻量的标签需求，提供代码/成熟model/算法框架&&实验策略，供下游快速产出分析

3. 对于聚类等需求，将动态参数的寻优、基础模型训练等复杂计算封装，提供UDF、D2工作流两种模式，供下游做一次性计算。

我们以淘宝用户体验项目为驱动，建设了淘宝用户体验VOC标签体系，同时在生产过程中沉淀了一套稳定的标签生产SOP，行业标签生产周期缩短至一周左右。在支持用户体验项目及产品上发挥了VOC原声挖掘的价值。我们也会持续在VOC大模型应用、VOC标签服务化等方向上持续探索优化，欢迎大家多多交流。