推搜广多业务多场景统一预估引擎实践与思考

1. 推搜广多业务多场景统一预估引擎实践与思考魏刚 OPPO机器学习部-预估组负责人

2.

3. 大纲 • • • • • • 统一预估引擎的介绍统一的特征计算框架统一的模型推理管理预估多阶段加速机制在线离线一致性方案粗排针对性优化分享

4. 统一预估引擎介绍 - 现状广告游戏内容分发搜索智能助手用户增长海外业务 …… 数十个场景高性能 thousands Features per Sample 数十万 QPS 数千台机器 billions Features per Second 易伸缩数十亿调用易扩展 tens of thousands Candidate per Predict billions Features per Model

5. 统一预估引擎介绍 - 挑战通用复用灵活定制兼顾效率候选多数据偏差特征多逻辑偏差模型多特征穿越成本效益一致性诉求

6. 统一预估引擎介绍 - 内容 • 围绕样本/特征/模型的计算逻辑集合。

7. 大纲 • • • • • • 统一预估引擎的介绍统一的特征计算框架统一的模型推理管理预估多阶段加速机制在线离线一致性方案粗排针对性优化分享

8. 统一的特征计算框架 - 总览 • • • • • • • • 样本构建特征计算缓存快照可扩展算子模式配置化计算逻辑预分配内存管理无冗余分离计算自动化联动缓存

9. 统一的特征计算框架 - 可扩展的算子模式 • 全局能力共享+增量能力扩展

10. 统一的特征计算框架 - 配置化计算描述

11. 统一的特征计算框架 - 预分配内存管理 • 并行无锁对象池

12. 统一的特征计算框架 - 无冗余分离计算 • 用户维度的公共特征只计算一次只保存一份，物料维度特征分批次并行计算。计算角度存储角度

13. 统一的特征计算框架 - 自动化联动缓存 • IO操作与逻辑计算分离，利用特征计算环节输入不变输出不变的特点，用缓存代替直接计算。

14. 大纲 • • • • • • 统一预估引擎的介绍统一的特征计算框架统一的模型推理管理预估多阶段加速机制在线离线一致性方案粗排针对性优化分享

15. 统一的模型推理管理 - 插件式管理 • 不同推理方案统一接口数据管理，差异化下沉到推理算子级别。

16. 统一的模型推理管理 - 分离架构 • 所谓分离架构是指预估引擎支持本地推理与RPC推理。

17. 统一的模型推理管理 - 为什么需要分离架构 • 机器利用率受限于最短板。 • 大内存规格的依赖。

18. 大纲 • • • • • • 统一预估引擎的介绍统一的特征计算框架统一的模型推理管理预估多阶段加速机制在线离线一致性方案粗排针对性优化分享

19. 预估多阶段加速机制 - 多核加速 • 样本补全/特征计算/模型计算这三个阶段在候选维度并行处理来加速。

20. 预估多阶段加速机制 - 多机加速 • 分布式预估，预估客户端在预估请求层面支持基于物料候选维度的请求拆分。

21. 大纲 • • • • • • 统一预估引擎的介绍统一的特征计算框架统一的模型推理管理预估多阶段加速机制在线离线一致性方案粗排针对性优化分享

22. 在线离线一致性方案 - 计算逻辑约束 • 计算逻辑约束：线上线下共用相同的特征计算库（C++库）

23. 在线离线一致性方案 - 回流数据约束 • 回流数据约束：预估时样本 = 回调曝光时样本，预估与回流样本是同一份快照数据。

24. 大纲 • • • • • • 统一预估引擎的介绍统一的特征计算框架统一的模型推理管理预估多阶段加速机制在线离线一致性方案粗排针对性优化分享

25. 粗排针对性优化 - 背景 • 预估框架最初是基于精排场景需求设计。单样本特征多模型复杂 • 框架优化实践 • • • • • 百级规模候选并行无锁对象池无冗余分离计算自动化联动缓存多阶段加速机制零拷贝数据传递多模型特征共享

26. 粗排针对性优化 - 挑战 • 超大候选规模（万级）单样本特征少模型不复杂超大规模候选（万级）已有框架能力基础上如何应对？

27. 粗排针对性优化 - 基础方案双塔模型架构，物料向量近线/离线生产

28. 粗排针对性优化 - 进阶 • 数据结构降维 +自适应精简计算流程特征数据候选维度数据结构降维请求协议候选维度数据结构降维自适应流程裁剪自适应流程裁剪优化成果同样复用于召回

29. 粗排针对性优化 - 可控算力成本 • 特征算力评估工具 + 在线算力自适应机制。可控算力机制在级联排序各环节召回/粗排/精排都可以复用

30. 总结及展望特征计算框架在线离线一致性约束插件式模型管理灵活伸缩通用复用增量扩展并行无锁对象池数据结构降维自动化联动缓存 GPU 特征计算智能资源管理低碳低成本消除冗余计算代码贡献开源

31.

32.