反作弊基于左右信息熵和互信息的新词挖掘

反作弊基于左右信息熵和互信息的新词挖掘

摘要

这篇文章讲述了团队通过挖掘未登录词来应对站内的恶意营销问题。为了确定一个词是否可以成为新词，团队使用了信息熵和互信息这两个指标。信息熵用来衡量词语在不同语境中的出现频率，互信息则衡量两个词之间的共享信息量。通过计算候选词的左右信息熵和互信息，团队可以判断是否可以形成新词。这种方法取得了良好的效果。简而言之，团队通过分析词语的特点和关联性来解决恶意营销问题。