短文本重复率快速检测

我们以上面的例子为例，为了方便理解，这里我们先手动标识下重复的文案



“高压洗车水枪，一喷轻松洗车不等待，全铜4分6分高压水枪可调节喷枪接头套装浇花灌溉园，高压洗车水枪，一喷轻松洗车不等待”



重复的词句我通过相同的背景色进行了标识，我们可以看到重复的如下：

1. “高压洗车水枪，一喷轻松洗车不等待” 出现了 2 次，这个是最明显的文字堆砌，我们希望最终分析出这个结果

2. “水枪” 出现了 3 次

3. “喷” 出现了3次

4. “分” 出现了2次

5. “枪” 出现了4次
   



如上，我们通过大脑回路就能够判断出来，这个文案不合格，显然有文字堆砌的嫌疑，那我们怎么通过代码快速识别出来呢？

通过如上手动分析过程我们发现有几个特点：

1. 单词、字、标点符号等重复出现的概率比较大，并且不适合通过这种字符判断重复

2. 长的重复词句会覆盖更短的重复词句，需要避免重复计算重复率，否则会增大重复率计算

▐  去除特殊字符

综合如上特点，我确定的第一个思路就是去除特殊字符，毕竟在真实业务场景，大家不会写一堆标点符号，因为这个比文字堆砌更低级，这个比较简单，就像给字符串洗澡一样，一个正则命令就可以搞定

const demoText = '高压洗车水枪，一喷轻松洗车不等待，全铜4分6分高压水枪可调节喷枪接头套装浇花灌溉园，高压洗车水枪，一喷轻松洗车不等待';const specialTextReg:RegExp = /[\s·！#￥（——）：；“”‘、，|《。》？、【】[\]`~!@#$%^&*()_+<>?:"{},.\/;']/gim;const cleanText = demoText.replace(specialTextReg, '');

▐  找出关键词句

1. 从来没有出现的字符放在第一个数组中（母数组），并按照出现的顺序排序
2. 每一个字符和第一个字符进行比较，如果出现过则新增数组，并存储在新数组中对应的母数组位置
3. 如果下一个字符也重复，则不用新增数组，只需要在原数组中新增字符，出现以下两种情况需要新开数组：
   重复的字符中断（就是出现了母数组没有的字符，这时候需要将字符 push 到母数组中）
   重复的字符在母数组中出现的序号小于等于上一个重复字符的序号

• 上面的字符，首先分析到第 10 个字符

• 接下来分析到第12个字符（“洗车”），因为在母数组中出现过，所以需要新开数组存储，分析结果如下：

• 接下来分析到第20个字符，因为从 13 个开始，又出现了母数组中没有的字符，所以回到母数组中进行字符 push

• 接下来第 21 个字符 “分”和母数组中第17 个字符重复，并且因为数组 1被终端 push 了，所以需要新开数组 2

➠ “高压洗车水枪一喷轻松洗车不等待全铜4分6分高压水枪可调节喷枪接头套装浇花灌溉园高压洗车水枪一喷轻松洗车不等待”

• 接下来我们分析到第 23 个字符（“高压”）,由于高压在母数组中出现的序号分别是 1，2，第 4 步“分”在数组出现的序号是17，满足 <= 17，所以需要新开数组，结果如下：

• 接下来分析到第25个字符（“水枪”），同样也是在我们的母数组中出现过，出现的序号分别是5，6，不满足 <= 2,所以可以继续在数组三中 push，结果如下：

➠ “高压洗车水枪一喷轻松洗车不等待全铜4分6分高压水枪可调节喷枪接头套装浇花灌溉园高压洗车水枪一喷轻松洗车不等待”

• 到第 6 步，基本上规则讲清楚了，一次类推，可以得出如下结果：

通过如上表我们肉眼可以轻松判断出来词句的出现次数以及每一个词句在母数组中的长度占比，对于程序来说，只需要根据两个原则分析出数组 1-7 中重复出现的词句：

1. 在同一个数组中连续的字符确定为重复词句

2. 当遇到空或者切换数组，则连续中断

通过如上两个步骤，确定结果如下：

这里关键词句重复率 = 关键词句的长度/母字符串长度 x 出现的次数 x 100%

因为我们最终需要得到一个重复率的总值，需要通过如上的值得出最终结果，如果只是单纯的相加，得到的结果是 96.27%， 这个明显不合适，但是重复的词句越多，重复率越大是一定的，从我们感官上去分析，我们感受到的是“高压洗车水枪一喷轻松” 带来的重复是我们无法接受的，所以我们需要通过加权，减少短字、词、句带来的重复率计算影响，这里我采用最简单的规则，就是根据重复词句的长度返回权重值如下：

所以我们最终得出的重复率数据 59.07%，如果界定阈值：30%，则如上字符串判断为重复

▐  关键词句分析问题

得出重复率词句如下：

这里我们发现除了第1、4 个词句，2、3 只出现了一次，所以这里要和母字符串进行一次对比，对于只出现一次的进行过滤，得出结果如下：

▐  关键词句被重复计算