推荐系统的基本问题及系统优化路径

1. 推荐系统基本问题及系统优化路径刘志强奇虎科技（360）视频信息流推荐算法负责人

2.

3. • 推荐系统构成与基本问题识别 • 资源画像与用户理解的相互依赖 • 关于多目标之间的融合问题讨论 • 评估挑战——AB可测与不可测

4. 推荐系统构成与基本问题用户 ① 推荐策略与用户反馈闭环 ① 广义推荐系统平台狭义推荐系统 ② 内容 ② 内容生态与分发反馈闭环

5. 推荐系统构成与基本问题用户平台内容

6. 推荐系统构成与基本问题客观主观显性实体主题内容理解用户理解隐式精准领域功能场景

7. 推荐系统构成与基本问题用户行为理解召回1 召回2 资源池排序召回3 … 召回N 内容理解重排

8. 推荐系统整体框架设计

9. 推荐系统的主要基本问题资源侧用户侧目标侧系统侧新冷资源启动兴趣记忆变迁可解释型优化推荐系统偏置内容生命周期实时意图捕捉多目标间平衡逐层交叉依赖资源流量分布主要兴趣覆盖长/短期兼顾可评估性挑战潜在兴趣探测

10. 资源流转与用户转化过程兴趣用户黏性用户 ③ ② ① 基于兴趣用户的新资源试投 ① 新资源 ② 基于优质资源的冷用户转化优质资源新用户 ③ 基于优质资源的潜在兴趣拓展

11. 内容生命周期与资源池优化重复/淘汰淘汰、过期、删除下线资源池迭代逻辑：审核试投 ① 资源以一定概率优于所属类型其他资源优质池循环投放 ② 资源越老，则条件越严格、新资源相对宽松 ③ 特殊资源具有霸占资源池优先特权 ④ 形式化表达如下：内容理解资源优质度预估

12. 关于内容理解的技术抽象语义化体系 semantic 义定与别识题问模型化解读 modeling g n i k n i Th 系统基础表征 representation 工程化 En gin ee rin g 需求识别与设计落地与持续进化 Desire recognition & Solution design Implementation & continuous improvement

13. 基于实体强化的语义向量化 ①mlm 奥特曼 clustering to topics latent semantic representation ② NER pooling MLP （BIOE） Transform Encode Block (by N layers) B I E O O O O O O MMM 光明与黑暗的大碰撞！你支持谁？奥特曼光明与黑暗的大碰撞！你支持谁？语料生成 Double Check

14. 实时跟随与资源协同资源协同的三架马车：内容协同后验强化行为共现

15. 实时跟随与资源协同 Clicked url … Based url … 1 0 0 0 0 优势： 1. 确保内容一致性 2. 过滤误召回关联 Enhanced Content Collaborative Filtering 3. 强化有效内容关联 4. 扩展内容关联 Embedding layer negative sampled

16. 实时跟随与资源协同 … Click Session �(� � |� � ) ∼ �(0,1) ⊗ � �,� �(� � |� � ) Add & Norm MLP MLP Add & Norm Content Embedding

17. 序列编码与推荐 �: �(�|� ¬� ) � Why “x” here Maximum p(x) given context 1. 非独立假设 2. 重要性贡献不同 3. 互为依赖形成聚合 find back take away 4. 多层多粒度依赖

18. 序列编码与推荐 Offline Train: Near line Inference: real-time click logs output & softmax qbus Transformer Blocks Layer normalization L2 mask padding Inference Severing Embedding layer TopK Recom urls

19. 主题兴趣的序列化与长期记忆 … 随机先验用户兴趣资源每一个模型都是下一个模型的先验长期兴趣

20. 资源协同与主题自动聚合

21. 基于消息队列的实时推荐流程

22. 非一致多目标之间的冲突与融合策略多目标的构成：基本原则：目标行为类型融合策略：  基础表达共享  同级间线性加权  目标间依赖控制  漏斗间敏感区间分段依次排序  分场景定制融合漏斗转化路径待排候选模型框架： label1 得分敏感区间识别： label2 label3 Ori_Auc ：0.8514 Seg_Auc：0.8492 基础表达

23. 评估挑战——AB的可测与不可测问题 AB实验的三个阶段：主要问题： 1. 新模型在旧语料学习得到 Base Data Base Model New Base 2. 扩量阶段导致语料发生变化 3. 语料变化影响旧模型效果 New Data Test Model 严格可测条件： ① ② ③ 小流量阶段扩量阶段留量观察阶段 1. 不迭代、少摇摆 2. 单变量、可衡量

24. 评估挑战——AB的可测与不可测问题用户分群：资源分布：类型多无主型博爱型淘汰型行为多行为少高冷型大众模型自身的可解释性冷热高潜型专一型类型少偏置型模型效果的可解释性宝贵型小众

25. 我们看到的数据只是结果，建模的目的在于还原数据生成的过程，而非描述数据最后的样子 —— 佚名

26.

27.

28.

29.