Bridging the Gap: Diagnosing Online–Offline Discrepancy in Pinterest’s L1 Conversion Models

Bridging the Gap: Diagnosing Online–Offline Discrepancy in Pinterest’ s L1 Conversion Models

摘要

Pinterest的L1广告排序模型在离线评估中表现优异，但在线A/B测试却出现中性或负面结果。通过全面排查，发现主要问题在于特征和嵌入的不一致性：训练时使用的特征在服务时缺失，且查询和Pin嵌入版本不匹配。此外，广告漏斗设计和指标错位也影响了最终效果。优化这些因素后，离线与在线表现趋于一致，提升了模型的实战效果。