大规模在线学习在OPPO商业算法的设计与实践

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1. 大规模在线学习在OPPO商业算法 的设计与实践 OPPO-数智工程系统-算法平台部 / ROY
2.
3. 目录 CONTENTS 1 OPPO商业化系统 2 OPPO实时系统设计 3 系统开发与实践 4 总结与经验
4. OPPO商业化广告业务 联盟广告
5. OPPO商业化主要消耗产品 依赖CTR/CVR模型进行预估 1、oCPX类广告,以ocpc为主 2、CPC广告 3、外部的DSP投放CPM/CPC广告
6. OPPO 商业广告系统架构 • Ranker作为核心服务, 接入流量,调用 CTR/CVR模型 • 样本任务离线执行,天级 别和曝光,点击,转化数 据拼接,生产样本,并训 练模型
7. OPPO天级模型架构问题 1. 由多个MR任务组成,任务维护 难度大 2. 样本产出时间,受到资源,和流 量大小的双重影响。 3. 对实时特征的响应慢,attention 类的模型结构也难以拿到收益。 4. 离线和在线完成两次特征抽取, 带来了线上特征不一致问题
8. OPPO流式样本设计方案 设计目标 模型训练和serving两个阶 段,严格使用同一份特征,即 一份流量,只会计算一次特征
9. OPPO流式样本设计方案 设计目标 事件发生的时间点,即是样本 产出的时间点
10. Delay Feedback问题 关键问题 负例事件到达时,它到底是不是一个正例,是需要一个等待窗口(归因窗口)才知道。 解决办法 按照流式的设计目标,事件发生的时刻,即是样本产生的时刻,当负例事件到达时,和feature拼接, 当做一个负样本发送,当正例事件达到时,同样处理逻辑,拼接feature,发送样本
11. Delay Feedback问题 实际样本 假设以α的概率进行负采 样,假设真实的正例数量 为P,负例数量为N,实际 得到的样本正例P’= P, N’=α(P+N)
12. Delay Feedback问题 纠偏方案 《Modeling Delayed Feedback in Display Advertising》: 需要真实发 生时间D,当前已使用时间E,对时间 回流时间进行建模,不符合流式事件 来即发样本的需求
13. Delay Feedback问题 纠偏方案 Importance Sampling:需 要假设p(x) = f(x),用模型代 替真实观测结果,符合流式样 本需求
14. Delay Feedback问题 纠偏方案 训练目标: Fake Negative Calibration:模型建 模实际样本正负例,推导出真实正负 例,简单易实现 调整训练logit:
15. Delay Feedback方案效果 参考论文 《Addressing Delayed Feedback for Continuous Training with Neural Networks in CTR prediction》
16. 无等待窗口隐患 预估值波动 突发的流量和曝光,预估值在后 验值上下波动
17. 预估值波动解决方案 负例打散 负例样本产出后,缓存在joiner 之中,按照正例回流时间分布 PDF概率打散发送
18. 设计目标 • 自研GPU同步训练,支持T级别的模型及推理 • 秒级流式更新,模型更新延时少于30S • p99增加量小于15ms
19. 架构框图
20. 工程问题 • 开发和设计的目标不一致 • 性能指标不达标 • 工期严重超时 解决办法 • 设计原理分享,理解后再开发 • 架构修改,换组件,读写分离等 • 后续制定方案时,留下更多冗余犯错空间
21. 样本排查 • 事件和特征的join率排 查 • 确定正负例样本数量 与对齐率 AUC差距排查 训练超参 • Reload收益:天级/流式各自的收 • 学习率调小 益 • Shuffle收益:天级/流式样本各自 shuffle后训练差距 • 不同纠偏方式,带来的auc收益 • 去掉momenta
22. AUC评估 • 天级全天评估改batch内/间隔时间内评估 • 天级/流式样本有diff,选定相同的测试样 本评估 • 离线评估实时性收益
23. 重点方向 • 流式模型常驻,模型稳定更新 • Inference时,emb更新策略 • 预估监控与报警 • 模型回滚策略 • 错误样本过滤,模型重训
24. • 方案设计与代码实现——差距很大,见招拆招 • 流式样本对齐天级样本——繁琐零碎,耐心细致 • 流式模型AUC对齐与评估——控制变量,不放过任何diff • 在线实验与模型上线——监控齐全,稳定可靠
25. Q&A
26.
27.

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.139.0. UTC+08:00, 2024-12-23 05:20
浙ICP备14020137号-1 $Map of visitor$