1. 旅行场景下的推荐算法探索 温鸿（青干） 阿里巴巴集团 高级算法专家

2. 目录 电商推荐算法简介 飞猪推荐算法探索 总结&展望

3. 电商推荐算法简介

4. 推荐技术框架 业务 场景 线上 服务 算法 模型 猜你喜欢 商家私域 逛逛 订阅 ... 高效的TPP推荐方案 客户端+边缘计算 ABFS Deep Match 协同过滤 Tree BE DIN 召回 基础 能力 购后 Push IGRAPH DIEN 全空间 CVR模型 RTP LTR模型 ... 重排 精排 用户表 行为表 场景特色 采样策略 统计类 序列类 日志收集 样本生成 模型校验 商品表 日志 … 流程化 向量类 反馈类 特征抽取 模型训练 模型上线 基础数据 样本 特征 机器学习平台

5. 基于全空间的CVR预估 —ESMM模型回顾 传统CVR预估模型面临的三大技术挑战： ESMM模型结构： p Sample Selection Bias(SSB)问题 p Data Sparsity(DS)问题 p 购买正样本的缺乏 ESMM建模方法： p 引入CTR/CTCVR任务为辅助任务 p 通过优化CTR和CTCVR两个辅任务达到预估CVR的目的 共享Embedding，缓解了DS问题 CVR任务由CTR/CTCVR两个基于全空间的任务推导而来，消除了SSB问题

6. 基于全空间的CVR预估 —ESM^2模型 ESMM模型有什么不足？ 01 p 建模路径上，仅考虑“曝光->点击->购买” p 事实上，用户购买决策路径是非常复杂的 02 p 没有考虑到购买正样本的缺乏对建模的影响 p 事实上，引入一定的post-click行为，可缓解购买正样本的缺乏对最终模型的影响 转化率预估需要同时考虑如下三个问题： ESM^2模型(SIGIR'2020) 全空间建模 如何缓解SSB问题？ 多任务学习 如何缓解DS问题？ 引入合适的post-click行为 如何缓解购买正样本的缺乏？ Hong et al, Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction, SIGIR, 2020

7. 基于全空间的CVR预估 —ESM^2模型 ESM^2建模面临的四大挑战： 如 何 定 义 合 适 的 p o s t- c l i c k 行 为 ？ p 自带用户直接的反馈信号 p 能有效缓解样本稀疏性问题 如何抽象用户复杂的购买决策过程？ p 在点击和购买行为之间引入若干 post-click行为, 简化建模过程 p 高度相关于用户的购买行为 如 何 有 效 地 同 时 组 织 多 种 p o s t- c l i c k 行 为 ？ p 从post-click行为中抽象出完备划分事件 如 何 建 模 p o s t- c l i c k 行 为 与 购 买 之 间 的 依 赖 关 系 ？ p 根据定义的完备划分事件，从全概率公式 的角度建模用户多种行为之间的依赖关系 Hong et al, Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction, SIGIR, 2020

8. 基于全空间的CVR预估 —ESM^2模型 ESM^2建模思路： 02 点击到购买行为之间引入合适的post-click行为 01 用户对商品的购买决策过程是非常复杂的 Post-Click行为 Impression Click Buy Impression Click Cart Cart 8.3% Impression Buy Click 18.2% Buy 2.5% 2.4% Click Cart Click Buy 3.2% Impression Wish 5.9% Other 04 全概率公式建模用户行为之间依赖关系 03 通过定义完备划分事件组织多种post-click行为 DAction DAction Impression Click Buy ? ? " ? ? . . . " ? ? Post-Click行为完备划分 ? ? " ? ? . . . " ? ? OAction OAction Hong et al, Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction, SIGIR, 2020

9. 基于全空间的CVR预估 —ESM^2模型 ESM^2建模思路： 全 概 率 分 解 假设事件? # 、? % 、. . . 、? $ 为Post-Click空间的完备划分事件；点击到事件? ! 发生的概率为? ! ，且事件? ! 到购买的概率为 ? ! 。那么，转化率CVR定义为： $ ??? = % ? ! ? ! , $ ?ℎ???, % ? ! = 1 !"# !"# Post-Click行为 Cart 8.3% Impression Click Buy 2.5% 2.4% Wish 3.2% DAction 18.2% Post-Click行为完备划分 Impression Click Buy DAction 5.9% ? ? " ? ? . . . " ? ? OAction Other ? ? " ? ? . . . " ? ? OAction Hong et al, Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction, SIGIR, 2020

10. 基于全空间的CVR预估 —ESM^2模型 ESM^2建模思路： ? % Impression ESM^2模型结构： DAction ? & Click Buy ? # 1 − ? % 基 于 全 空 间 的 辅 任 务 OAction ? ' Impression->Click ??? = ? # Impression>DAction ????? = ? # ? % Impression->Buy ????? = ? # [? % ? & + 1 − ? % ? ' ] 转化率由相关隐变量决定： ??? = ? % ? & + 1 − ? % ? ' Hong et al, Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction, SIGIR, 2020

11. 基于全空间的CVR预估 —HM^3模型 ESM^2模型能否再优化？ M i c ro 行 为 ： 商 品 详 情 页 控 件 级 别 的 行 为 ， 最 小 作 用 单 元 是 控 件 Micro行为能帮助 Macro行为建模 Post-Click行为定义升级 M a c ro 行 为 ： 商 品 级 别 的 行 为 ， 最 小 作 用 单 元 是 商 品 Micro行为 HM^3模型(SIGIR'2021) Macro行为 Q&A D_Macro Cart D_Micro ? ? " ? ? . . . " ? ? Reviews D_Macro ? ? " ? ? . . . " ? ? Click Impression Wish Wdj Buy O_Macro Impression Buy Click D_Micro Other O_Macro ? ? " ? ? . . . " ? ? Chat ? ? " ? ? . . . " ? ? O_Micro O_Micro Hong et al, Hierarchically Modeling Micro and Macro Behaviors via Multi-Task Learning for Conversion Rate Prediction, SIGIR, 2021

12. 基于全空间的CVR预估 —HM^3模型 HM^3建模思路： HM^3模型结构： D_Micro ? ) Impression Click ???? ? ? & ? ' 1 − ? % 基 于 全 空 间 的 辅 任 务 Buy ? 2 ? 3 O_Macro O_Micro ???? ? ???? ? D_Macro 1 − ? & ? ( ???? ? 1 − ? 3 模 型 结 构 ????? (_*!+,- ??? ? ( ? ) ? * ????? !_#$%&' ????? ? , ? + Impression->Click ??? = ? ( Impression->D_Micro ????? (_*!+,- = ? # ? % Impression->D_Macro ????? !_#$%&' = ? ( [? ) ? * + (1 − ? ) )? + ] Impression->Buy ????? = ? ( ? , ? ) ? * + (1 − ? ) ? + + ? - [? ) (1 − ? * ) + (1 − ? ) )(1 − ? + )]} MLP MLP MLP MLP MLP ? - MLP Hong et al, Hierarchically Modeling Micro and Macro Behaviors via Multi-Task Learning for Conversion Rate Prediction, SIGIR, 2021

13. 飞猪推荐算法探索

14. 旅行推荐的背景 旅行状态下用户生命周期： 内容种草 酒店 交通 本地热门 反馈 门票 攻略 周边玩乐 新需求 最优决策 … … 行前 行中 行后 找 朋友推荐 … 激发需求 买

15. 旅行推荐的背景 飞猪APP首页： 金刚 推荐 承接用户确定性需求 满足用户逛起来的心智

16. 旅行推荐的背景 推荐的特点： 低频 时空属性 周期性 行为稀疏 趋势挖掘 冷启动 热门严重 时/空建模 节假日/周末 VS 日常

17. 旅行推荐的背景 推荐技术架构： 业务 场景 淘宝 支付宝 飞猪 猜你喜欢 多端 线上 服务 RTUS 算法 模型 时空属性 ABFS 旅行阶段 用户全物料偏好预测 … 多场景 端智能 行程状态 BE 全物料感知 召回 基础 能力 购后 IGRAPH 多端多场景 RTP 周期感知 长序列建模 排序 全域全物料embedding 旅行特色用户理解 用户旅行属性基础画像

18. 旅行特色算法技术 RTUS做了啥？ 实时状态 实时行程 实时兴趣 实时意图 新用户判定 行程信息 类目偏好 价格档位预测 生命周期判定 行程状态(行中) 目的地偏好 复购意图预测 LBS状态(本异地) 行程意图(出差) 玩法偏好 周期意图预测 用户LBS状态 浏览 用户 全域行为序列 点击 用户 全域统计 搜索 行业 趋势统计 加购 用户全链路日志 收藏 实体热度 购买

19. 旅行特色算法技术 Similarity Score 用户行程状态感知的召回： item representation user representation MLP Fusion MLP 离线效果 Fusion Embedding Layer … … user state age gender user profile city item 1 item 2 item n user sequence … Target item Attribute 线上效果 Submitted to ICDE2022

20. 旅行特色算法技术 周期感知序列建模： 捕捉用户兴趣的周期性特点 Output 离线AUC正向，持续优化中 MLP slice i representation Transformer 纵 向 周 期 兴 趣 衍 化 Slice 1 Slice 6 Transformer Slice 2 Slice 7 Slice 3 Slice 8 横向兴趣衍化 Attention Raw feature Slice 4 Slice 9 Slice 5 Slice 10 Item 1 Item 2 Item 3 … slice i Item N Target

21. 总结&展望

22. 总结&展望 我们是飞猪算法团队，专注于搜索/推荐/广告算法等相关领域的研究，希望能通过创新技术的打磨，进一步赋能 旅行业务，让天下没有难做的旅行生意，为用户打造智能化的旅行出行方案，一站式解决用户出行需求（机票、 火车票、酒店、门票等）。我们诚邀各路小伙伴一起加入，共同打造旅行新标杆！ 邮箱： 未 来 发 力 方 向 zulong.czl@alibaba-inc.com qinggan.wh@alibaba-inc.com 微信号： 用户旅行生命周期 时空属性 行业特色 … “雄关漫道真如铁，而今迈步从头越” chenzulong198867 dreamonewh

23. Q&A Thanks