Smarter URL Normalization at Scale: How MIQPS Powers Content Deduplication at Pinterest

Smarter URL Normalization at Scale: How MIQPS Powers Content Deduplication at Pinterest

摘要

Pinterest 为解决大规模 URL 归一化和内容去重问题，设计的 MIQPS（Minimal Important Query Param Set）算法。核心思路是：按域名和「参数模式」分组 URL，用渲染后的页面内容指纹来测试每个 query 参数是否会改变页面内容；改变则是非中立参数（要保留），不改变则是中立参数（可删除）。