Scaling Recommendation Systems with Request-Level Deduplication

Scaling Recommendation Systems with Request-Level Deduplication

摘要

Pinterest通过请求级去重技术大幅提升推荐系统效率。用户数据在推荐流程中常被重复处理，该技术确保数据仅处理一次，节省存储、训练和服务的成本。存储上采用Apache Iceberg实现10-50倍压缩；训练中通过同步批归一化和用户级掩码解决数据分布问题，提速4倍；服务端利用DCAT架构提升7倍吞吐量。这一技术全面优化了模型性能，支撑了百倍规模扩展。