推荐系统在腾讯游戏运营中的实践

1. 推荐系统在腾讯游戏运营中的实践

2.

3. 自我介绍王佳强腾讯专家工程师多年搜索、机器学习平台及推荐系统实践经验现为IEG数据中台算法工程负责人

4. 大纲 • 腾讯游戏在运营上的实践 • 推荐系统整体架构 • 在推荐系统建设过程中的优化

5. 腾讯游戏在运营上的实践

6. 全生命周期精细化运营摘自《2021年中国游戏产业报告》

7. 全生命周期精细化运营活跃度拉新引导成⻓关怀激活挽回理想曲线时间潜在用户阶段新手阶段有效活跃阶段活跃下降阶段流失阶段

8. 全生命周期精细化运营

9. 全生命周期精细化运营 -方案多合作方多增⻓方案英雄联盟端游 QQ⻜⻋逆战网⻚游戏 QQ炫舞王者荣耀手游乱世王者斗地主和平精英嵌入方游戏请求接入日志业务逻辑推理服务模型流转多数据格式训练流水线一站式机器学习平台离线数据实时数据

10. 全生命周期精细化运营 -方案多合作方多增⻓方案英雄联盟端游 QQ⻜⻋逆战网⻚游戏 QQ炫舞王者荣耀乱世王者手游跑跑卡丁⻋和平精英嵌入方游戏请求接入日志业务逻辑推理服务模型流转多数据格式训练流水线一站式机器学习平台离线数据实时数据

11. 推荐系统整体架构

12. 架构总览 -基础设施的重要性 google NIPS：Hidden Technical Debt in Machine Learning Systems

13. 架构总览 -一站式机器学习平台

14. 架构总览 item下发给用户离数据源 ETL 样本拼接线样本生成样本处理业务逻辑样本特征抽取下发给用户的item 模型/评估离线训练在线推理召回特征转储拉特征用户灌特征上报日志在实时消费特征快照实时特征线特征存储样本拼接/样本处理/特征抽取样本生成在线学习更新模型特征快照

15. 整体效果统计业务相关指标架构总览 -监控业务逻辑用户灌库延迟、成功率 db监控数据存储灌库延迟字段级统计记录数等特征快照道具特征表用户特征表样本拼接样本处理特征抽取训练用户行为表延迟问题字段级统计记录数在线AUC等延时、成功率、产出分布、链路跟踪等成功率运行时⻓、产出数量等实际正负样本比字段级统计记录数特征抽取一致性更新及时性输出值分布 NaN/Inf 指标过滤推理延时、成功率、特征缺失率、外部请求成立率延时、打分分布等单条样本打分一致性

16. 在推荐系统建设过程中的优化

17. 概览运营方案1 运营方案N ... 方案1 游戏A 方案2 方案1 游戏B 方案2 游戏C 推荐系统管线推理样本拼接训练模型优化 ... 特征管理标准化一站式机器学习平台

18. 性能优化 —样本拼接 N万个key 用户触发用户曝光&行为&特征快照特征数据 mem Key Key Key Key Master MQ Scheduler indexer blockid blockid blockid blockid Driver 实时流 go indexer find py 一个block 拼接前 worker worker 拼接拼接后分布式文件系统HDFS ssd中的一个文件 offset offset offset offset

19. 性能优化 —训练优化 parameter server(PS) adam优化器参数参数更新获取本 batch数据的参数参数m 参数v ... N个 PS 梯度传输 M*N条连接 • 样本量 • 模型复杂度 • 模型参数量 Worker 样本读取参数获取参数训练模型计算 ... 分布式文件系统 M个Worker • 通信 • 计算

20. 性能优化 —训练优化可观测

21. 性能优化 —训练优化方案 parameter server(PS) 参数* 计算： • 算子并行化 • hash表优化通信： • 训练流水线并行化 • 算子、数据放置位置 insertOp 更新 hashtables adam优化器参数m 参数v beta1/2 lr ... PS lookupOp lookupOp Worker loss 反向计算前向计算 ... 样本读取 dataset ids 分布式文件系统 unique Worker

22. 性能优化 —推理优化计算图裁剪输出模型输入模型检查自动模型优化计算图冻结、裁剪、算子融合等优化后模型测速，生成profile信息算子融合运算并行无效计算清除优化前后模型输出对比检查 Serving 优化结果上报，失败告警等价替换 ......

23. 训练流程原始样本特征抽取在模型中 python 特征抽取训练统计推理流程客户端重复N遍 user feature tfserving item feature .......N个item........ user feature item feature 推理服务假设user feature M1维，item feature M2维数据有效率:(M1+N*M2)/(N*(M1+M2)) 真实案例：M1=38000，M2=7488 N=100，数据有效率：17% 推理慢! 特征抽取模型拉取user特征流程改变拉取item特征 spark 特征抽取是个动态库原始样本特征提取特征抽取特征抽取训练样本特征存储流程改变训练推理逻辑平台支持 tfserving 平台支持统一灌库组件和 SDK 分析请求拉取user特征分析请求特征提取模型用户id+N个itemid,约1KB 统计配置动态库推理业务自己编写模块、灌数据 item特征缓存特征提取推理逻辑标准化的特征存储

24. 总结运营方案1 运营方案N ... 方案1 游戏A 方案2 方案1 游戏B 方案2 游戏C 成效推荐系统管线 • 减轻算法工作负担 • 提升整体上线效率推理样本拼接训练模型优化 ... 特征管理标准化一站式机器学习平台

25.

26.

27. • Thanks