算法在社区氛围的应用（二）：深度学习在不友善文本识别中的应用

算法在社区氛围的应用（二）：深度学习在不友善文本识别中的应用

摘要

知乎通过深度学习算法辅助审核不友善内容，提高了举报处理效率。每天收到约25,000条举报，其中大约7,000条关于不友善内容。如果算法预测某条内容为不友善，会在0.3秒内删除并发送私信通知。非不友善内容会被忽略，其他内容会进行多次人工审核。知乎重视每一个举报，根据举报增强算法的准确度，并每天全量审核新产生的内容。由于数据不均衡和词语分布的特点，全量内容模型的准确率要达到98%以上非常困难，因此采取适当的阈值来维持召回内容的处理准确率在80%以上，并进行人工审核。知乎的不友善内容处理系统使用深度学习模型，其中采用了Google的word2vec词向量模型。