1. 美团信息流广告预估实践 三千屿 1

2. 目录 01 信息流广告业务、预估技术现状 02 信息流广告预估实践 03 总结、展望 2

3. 目录 01 信息流广告业务、预估技术现状 02 信息流广告预估实践 03 总结、展望 3

4. 信息流广告业务、预估技术现状 背景介绍 外卖广告C端产品：信息流广告、搜索广告、营销广告、展示广告等 Ø 用户诉求：推的好，体验高 Ø 商家诉求：营收高，效果好 Ø 平台诉求：收入多，可持续 信息流广告 搜索广告 营销广告 展示广告 典型业务特点 Ø 用户行为连贯性强：10min+完成60%成单。 Ø 展示信息丰富：卡片信息覆盖了评分、评价、优惠、配送，对用用户的决策影响强。 Ø 文本信息多：候选更复杂、区别于电商场景图片占大头，商户名称、评价等文本信息帮 助用户理解。 4

5. 信息流广告业务、预估技术现状 技术概括 广告投放系统 请求 用户 投放 商家 外卖C端 外卖B端 召回 Recall 粗排 pre-ranking 机制 精排 Auction Ranking 广告Ranking发展 树模型 ~2017 DNN模型爆发 2017~2020 大规模DNN模型、算法体系化 2021-至今 User 用户 Ø 连续特征、交叉统计 Ø 模型拟合能力受限 AUC：Ad/User/Context 精准 Context 匹配 Ø 特征升级，ID特征初引入 Ø 追随业界，模型复杂化迭代 场景 Ad 广告 Ø 输入规模超过XX 万 Ø 端到端序列X千+ Ø Flops XX 稀疏大模型 + 超长序列 5

6. 信息流广告业务、预估技术现状 信息流广告预估技术现状 6

7. 目录 01 信息流广告业务、预估技术现状 02 信息流广告预估实践 用户建模、全还原建模、LLM IN CTR 03 总结、展望 7

8. 到家信息流广告预估实践-用户建模 用户建模整体概览 8

9. 信息流广告预估实践-用户建模 决策路径建模 A Deep Behavior Path Matching Network for Click-Through Rate Prediction WWW 2023 问题： DIN单点匹配忽略了什么？ 挑战： 1. 如何构建核心路径 2. 如何解决路径本身的噪音、稀疏性、匹配等问题。 解法： 一、Path Enhance Module(PEM) 提取核心路径 - 判断前置路径和候选（历史路径为点击）的相关性， 建模路径置信度。 - 对原始进行全连接的 MLP 激活+softmax topk 结合 原始表示作为核心路径表达。 二、Path Augment Module(PAM) 扩充路径 - 使用用户的增广路径作为正样本、其他用户的路径作 为负样本，引入对比学习 loss，提升路径表示学习能力 三、Path Matching Module(PMM）路径+点双层匹配 - 基于PEM 表示，构建路径匹配attention，进一步对 历史路径取 topk，去除掉无关路径影响提升候选点匹 配精度。 - 进一步引入点（item）匹配，完成双层匹配 还原路径构成。 Length =3 9

10. 信息流广告预估实践-用户建模 超长超宽建模 关键问题： 一、SIM/ETA 没有带来效果 为什么？ 二、拟合 DIN Score是否是⻓ 序列的终局？ 10

11. 信息流广告预估实践-用户建模 超长超宽建模 将 CTR 理解成一个去噪任务 一、本质上如果能够完全选择出来接下来会 点击的 Item，CTR 模型不需要很复杂。 二、当前系统的方式是靠信息来拟补深度拟 合的不足。 将 item注意力扩展到子矩阵注意力 一、过去通过sideinfo 拼接共同作用的方式， 不能很好的关注宽的交互。 二、Item 内的注意力机制户略了整体交互。 三、是否符合ScalingLaw 是网络有效的基本。 ScalingLaw 试验 试验 AUC Base(fake) 0.676 3round 0.689 10round 0.691 30round 0.693 11

12. 目录 01 信息流广告业务、预估技术现状 02 信息流广告预估实践 用户建模、全还原建模、LLM IN CTR 03 总结、展望 12

13. 信息流广告预估实践-全还原建模 建模问题 什么是全还原建模？ 还原用户所⻅所得。CTR 本质是对 用户所看到的信息判断是否点击， 第一要素是讲看⻅的信息全部纳入 模型，过去简单通过ID 表示/ 忽略 上下文带来了较大的信息 GAP。 系统旁落 无法获取 完整卡片 无法获取 精准上下 文 链路⻆度的两个无法获取 一、广告后链路信 息无法获取 二、广告模块无法 获取自然信息 13

14. 信息流广告预估实践-全还原建模 全还原建模-卡片还原、页面还原 什么是全还原建模？ 还原用户所⻅所得。CTR 本质是对 用户所看到的信息判断是否点击， 第一要素是讲看⻅的信息全部纳入 模型，过去简单通过ID 表示/ 忽略 上下文带来了较大的信息 GAP。 卡片 还原 穿越引入 AUC+X 千分 点 ⻚面还原 穿越引入 AUC+X 百分 点 14

15. 信息流广告预估实践-全还原建模 整体解决思路 算法猜 猜⻚面，前链路队列引入-> 曝光概率 建模 -> 虚拟page匹配，最大化利用前 链路信息猜⻚面。 猜元素，创意链路前置，创意优选结果 输出给精排。 工程近似 卡片 还原 ⻚面 还原 存⻚面，引入近线系统，基于旁路系统 的Side Model端到端预测最终展现信息， 最大化利用后链路视野。 存元素，引入近线系统+高维KV，提升 元素获取覆盖率至+100%、准确率 70%+ 15

16. 信息流广告预估实践-全还原建模 页面还原- Context-Aware Modeling via Simulated Exposure Page for CTR Prediction in Meituan Waimai SIGIR 2024 问题：上下文信息对最终的点击有较大影响，因 CTR 模块无法拿到上下文， 挑战： 过去的解决方式是引入重排对小范围队列进行建模，这样降低了上下文链 1、上下文包括了集合和序两个部分，如何构建上下文 预测模块？ 路信息的影响。 2、simulated 上下文与候选如何进行交互？ 3、如何进一步通过蒸馏提升simulated page 的准确性？ 解法： 1、Context Simulation Center (CSC) - 曝光网络学习集合：通过曝光概率预估网络来建模哪些 item 最可能曝光给用户，输入为千级别自然队列 - 排序网络学习序：对曝光网络输出的结果进行排序，目标 位最终展现的位置，通过 NDCG 来衡量。 2、Context Modeling Transformer (CMT) - Context Encoder/Decoder：使用 Transformer 对带位 置编码的上下文进行编码。引入候选通过 MLP 网络与 encoder 输出作为decoder 输入，得到最终的 context 表达。 - 真实曝光蒸馏：引入simulated page是一个强信号，但 是依然存在与真实曝光 page 的差距。因此构建 simauted page 作为输入的 student 网络来蒸馏学习基 于 real page 的 teacher 网络进一步去除噪音。（注： 直接蒸馏无信号无法学习） 16

17. 信息流广告预估实践-全还原建模 卡片还原-矩阵化表达+Patch元素相互影响+关注顺序建模 一、矩阵化表达 二、Patch元素相互影响 三、Permutation 关注顺序建模 17

18. 目录 01 信息流广告业务、预估技术现状 02 信息流广告预估实践 用户建模、全还原建模、LLM IN CTR 03 总结、展望 18

19. LLM IN CTR LLM VS CTR 特性分析 19

20. LLM IN CTR LLM IN CTR 进展概览 知识注入 CTR 适配 + Prompt 融合 从结果融合到模型融合 补充真实世界认知 AUC+XX千分点 思维注入 小规模Token + 语义聚合 范式迭代 从模型融合到端到端自回归 补充行为决策LLM表示 AUC+XX千分点 输入NLP化 +语义聚合+Transformer 20 自回归loss AUC+XX千分点

21. LLM IN CTR LLM IN CTR 链接方式总结 利用LLM结果、结构、范式 利用结果 结构融合 结构链接 能力链接 CTR不具备该能力 Prompt engineer 口味、⻝材提炼 Model Finetune Shop 描述扩充 Word Emb 表示 用户行为总结 Encoder Last token I2I 泛化扩展 知识 泛化 Decoder 表示 范式迭代 输入NLP 化 用户行为预测 Transformer规模化 行为决策分析 推理 自回归loss 注：⻩色为有效方式、灰色为无效、黑色为待探索 21

22. 目录 01 信息流广告业务、预估技术现状 02 信息流广告预估实践 03 总结、展望 22

23. 总结、展望 总结、展望 总结： • 用户建模，结合业界走出业界钻进业 务，挖掘用户行为模式。 • 还原建模，算法+工程两手抓 • LLM IN CTR，找到落地路径、逼近范 式迭代。 展望： • 端到端推荐大模型是业界的共同期 望 • 输入规模、模型规模是效果保障， 算力规模是以上两者保障，要软硬 结合。 23

24. One More Thing n 欢迎加入美团广告团队，23年召回、预估、机制等方 向在DL/IR顶会ICML/SIGIR/KDD/WWW上贡献 10+ 文章 社招、校招、实习欢迎投递 meituan.oi@meituan.com 知乎同名 三千屿 24