大规模在线学习在OPPO商业算法的设计与实践

1. 大规模在线学习在OPPO商业算法的设计与实践 OPPO-数智工程系统-算法平台部 / ROY

2.

3. 目录 CONTENTS 1 OPPO商业化系统 2 OPPO实时系统设计 3 系统开发与实践 4 总结与经验

4. OPPO商业化广告业务联盟广告

5. OPPO商业化主要消耗产品依赖CTR/CVR模型进行预估 1、oCPX类广告，以ocpc为主 2、CPC广告 3、外部的DSP投放CPM/CPC广告

6. OPPO 商业广告系统架构 • Ranker作为核心服务，接入流量，调用 CTR/CVR模型 • 样本任务离线执行，天级别和曝光，点击，转化数据拼接，生产样本，并训练模型

7. OPPO天级模型架构问题 1. 由多个MR任务组成，任务维护难度大 2. 样本产出时间，受到资源，和流量大小的双重影响。 3. 对实时特征的响应慢，attention 类的模型结构也难以拿到收益。 4. 离线和在线完成两次特征抽取，带来了线上特征不一致问题

8. OPPO流式样本设计方案设计目标模型训练和serving两个阶段，严格使用同一份特征，即一份流量，只会计算一次特征

9. OPPO流式样本设计方案设计目标事件发生的时间点，即是样本产出的时间点

10. Delay Feedback问题关键问题负例事件到达时，它到底是不是一个正例，是需要一个等待窗口（归因窗口）才知道。解决办法按照流式的设计目标，事件发生的时刻，即是样本产生的时刻，当负例事件到达时，和feature拼接，当做一个负样本发送，当正例事件达到时，同样处理逻辑，拼接feature，发送样本

11. Delay Feedback问题实际样本假设以α的概率进行负采样，假设真实的正例数量为P，负例数量为N，实际得到的样本正例P’= P， N’=α（P+N）

12. Delay Feedback问题纠偏方案《Modeling Delayed Feedback in Display Advertising》：需要真实发生时间D，当前已使用时间E，对时间回流时间进行建模，不符合流式事件来即发样本的需求

13. Delay Feedback问题纠偏方案 Importance Sampling：需要假设p(x) = f(x)，用模型代替真实观测结果，符合流式样本需求

14. Delay Feedback问题纠偏方案训练目标： Fake Negative Calibration：模型建模实际样本正负例，推导出真实正负例，简单易实现调整训练logit：

15. Delay Feedback方案效果参考论文《Addressing Delayed Feedback for Continuous Training with Neural Networks in CTR prediction》

16. 无等待窗口隐患预估值波动突发的流量和曝光，预估值在后验值上下波动

17. 预估值波动解决方案负例打散负例样本产出后，缓存在joiner 之中，按照正例回流时间分布 PDF概率打散发送

18. 设计目标 • 自研GPU同步训练，支持T级别的模型及推理 • 秒级流式更新，模型更新延时少于30S • p99增加量小于15ms

19. 架构框图

20. 工程问题 • 开发和设计的目标不一致 • 性能指标不达标 • 工期严重超时解决办法 • 设计原理分享，理解后再开发 • 架构修改，换组件，读写分离等 • 后续制定方案时，留下更多冗余犯错空间

21. 样本排查 • 事件和特征的join率排查 • 确定正负例样本数量与对齐率 AUC差距排查训练超参 • Reload收益：天级/流式各自的收 • 学习率调小益 • Shuffle收益：天级/流式样本各自 shuffle后训练差距 • 不同纠偏方式，带来的auc收益 • 去掉momenta

22. AUC评估 • 天级全天评估改batch内/间隔时间内评估 • 天级/流式样本有diff，选定相同的测试样本评估 • 离线评估实时性收益

23. 重点方向 • 流式模型常驻，模型稳定更新 • Inference时，emb更新策略 • 预估监控与报警 • 模型回滚策略 • 错误样本过滤，模型重训

24. • 方案设计与代码实现——差距很大，见招拆招 • 流式样本对齐天级样本——繁琐零碎，耐心细致 • 流式模型AUC对齐与评估——控制变量，不放过任何diff • 在线实验与模型上线——监控齐全，稳定可靠

25. Q&A

26.

27.