AI在视频广告中的探索

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1.
2. AI在视频广告中的探索 刘祁跃 爱奇艺科学家&智能平台部视频分析负责人
3. 广告的目的 在一定周期,让尽可能多的人产生消费 长周期:品牌广告 短周期:效果广告 向合适的人 传达消费价值 消费行为 点击、下载、安装、激活、购买
4. 如何传达消费价值 匹配需求 展示价值 用户行为(搜索、浏览、点击等) 统计特征(性别、年龄、地区等) 场景(点位)+ 效果(广告素材体现)
5. AI(视频理解方面)的主要工作 生成/推荐点位 辅助创作素材 场景 效果
6. 点位——场景化示意 创可贴 前情提要 Video In
7. 点位——视频广告如何实现场景化 商业价值点=有消费需求的点位 聚餐 ---- 想喝饮料 地铁 ---- 听点歌曲 海滩 ---- 希望防晒 亲吻 ---- 来束玫瑰
8. 点位——视频理解 对 象 事 件 场 景 人脸识别 姿态识别 服饰分类 行为识别 语音识别 意图理解 场景识别 地标识别 调性分析 目标检测 宠物分类 表情识别 事件分类 文本挖掘 关系抽取 音频分类 音乐识别 情感分析
9. 点位——视频图谱
10. 点位——VideoIn选点流程
11. 点位——前情提要贴生产逻辑 精彩度分析 转场点识别 无效片段过滤 剪辑逻辑 感官 场景/镜头 回忆 多样性 情节 对话 主角缺失 顺序
12. 点位——视频场景下的更多广告诉求 新剧上映 时效 丰富 及时分析/创作 按投放策略筛选 广告点位 候选点位 最终点位
13. 素材——辅助广告素材创作 视频内容 营销主题 广告素材 视频(包括封面/标题) 图片 文本
14. 素材——场景化下的效果展示 功能饮料 扫地机器人 越野车 打球:补充体力 老人:避免弯腰 亲子:自由成长 上班:提高效率 白领:节省时间 户外:上山下地 疲倦:提神醒脑 宅男:懒人福音 停车:无惧台阶
15. 视频广告的主要形式 贴片 浮层 植入 前贴 创可贴 前期植入 中贴 角标 后期植入 后贴 前情提要贴
16. 规模化难度 各类典型视频 广告分析 前期植入 后期植入 前情提要 创可贴 中贴,后贴,角标 前贴 场景化要求
17. AI辅助视频场景营销 泛视频 AI能力 参与方 长视频/短视频 内容分析能力 VR/AR/游戏 素材辅助创作能力 泛视频平台 广告公司 内容创作机构
18. THANK YOU
19. 360召回系统演进 王华呈 360展示广告算法组 资深算法工程师
20. 大纲 ➢ 360展示广告 ➢ 整体架构 ➢ 召回模块演进
21. DSP 展示广告 业务介绍 设置 广告 投放 Ad Exchange Adx 发流量给DSP 360点睛DSP 360 Max 其他DSP 其他Exchange 广告主 京东 唯品会 携程 苏宁 DSP 100 ms 响应 ADX 选择出价 最高DSP投放 媒体发流量 给ADX 媒体 新浪 搜狐 Youku 网易 爱奇艺
22. 常见展示广告
23. 展示广告架构
24. 检索召回模块
25. 多路召回 上下文 召回通路 用户行为 深度召回 图片 兴趣 人群属性 标题 Query 上下文特征 lbs 访问行为 媒体特征 …
26. 基于文本召回 精准匹配 • 完全匹配 • TF-IDF ngram 模糊匹配 • WORD2VEC • DSSM 向量检索 广泛匹配 • DSSM 聚类
27. 召回模块演进 深度树 向量 布尔 召回 检索 匹配
28. ➢ 树+维度bitMap分组+哈希表 Index A 布尔召回 Index C ➢ ➢ Index B Index A 检索加速问题:有部分倒排表很长(长度> 1w) 解决方案:QueryParser: (A∪B)∩C = (A∩C)∪(B∩C)
29. 向量化召回
30. NN 0.8 0.1 0.1 NN NN NN Emb Emb Emb Emb Query D1 D2 D3 基于深度语义检索模型 NN:可选结构 1. 多层FC 2. CNN+FC 3. RNN
31. 向量检索索引 LSH IVF Flat • 分桶 • 耗内存 • 保留精度 • 聚类 IVF PQ • 有损 • 省内存
32. 深度树匹配 如何构建树? 基于ecpm最大堆 𝑃 𝑗 𝑛 𝑐 ∈ 𝑛𝑢 = max 𝑛 , 𝑠 𝑐ℎ𝑖𝑙𝑑𝑟𝑒𝑛 𝑛𝑜𝑑𝑒𝑠 𝑗+1 𝛼 (𝑗) 𝑃 (𝑗+1) (𝑛 𝑐 |𝑢)
33. Tree Based Match
34. 样本规模:7days采样 50M Root 向上回溯 + 样本准备 + Leaf + 虚拟曝光TOP3 同层随机 - - ½ 负采样 + ½ prerank 低分
35. 如何生成树 ◆ 随机生成 ◆ 自下而上合成树 ➢ 随机生成树 ➢ Kmeans ➢ 迭代树结构 ➢ 曝光频次聚类
36. 训练叶子 模型训练 聚类生成树 重新训练叶子和父节点
37. 点击加权 loss 交叉熵 Triplet Total Loss Loss Loss 拟合目标 约束叶子距离
38. 00 10 如何线上检索 Beam Search 11 20 30 21 31 32 33 30 23 22 34 34 35 36 36 37
39. 00 11 10 如何更新 20 30 New Item 21 31 Emb Item emb set 32 23 22 33 34 35 36 37 Append Similariy max(a,b) New Item
40. 性能优化 检索 • 跳层检索 • 多路并行 • 精度裁剪 训练 • 避免feed dict • Timeline 分析 • GIL -> Pybind11
41. 360展示广告算法团队 欢迎您的加入 wanghuacheng@360.cn
42. THANK YOU
43. 效果广告的个性化探索与实践 王晖 爱奇艺助理研究员
44. 01 爱奇艺效果广告算法 背景&架构
45. 信息流 双引擎 框内
46. 付费 核心目标:优化转化效果 安装 oCPX vs CPX V S 下载 点击 曝光 高维稀疏 业务复杂 流量大
47. 召回 个性化广告 推荐流程 粗排 精排 广告展示 定向召回 分层AB 创意优选 预算平滑 广告粗排 冷启动 点击率预估 随机探索 转化率预估 日 志 记 录
48. 离线特征 实时特征 在线推理 impression click conversion 排序逻辑 FM FM Daily Realtime DL 𝑒𝐶𝑃𝑀 = 𝑝CTR ∙ 𝑝𝐶𝑉R ∙ Bid ∙ 𝛼 现场特征 RL
49. 02 点击&转化率预估 核心问题
50. 长期 人口基础属性 观影兴趣、商业兴趣 广告基础属性、素材质量 短期 特征 观影兴趣、商业兴趣 搜索行为、社交行为 实时 场景、时间、反馈
51. 基础属性 性别:女 年龄:20~30 行业:游戏 标签:手游、转职、玄幻 短期观影兴趣 母婴 长期观影兴趣 仙侠 素材质量星级:
52. HDFS 实时数据 在线学习 离线模型 (Batch) OWLQN 校验 FM Kafka FTRL Ranking 在线模型 (Realtime) AUC比对:在线VS离线 自动切换 在线AUC 离线AUC
53. 深度学习
54. 03 智能出价 博弈&共赢
55. 博弈:拓量 VS 控制成本 𝑒𝐶𝑃𝑀 = 𝑝CTR ∙ 𝑝𝐶𝑉R ∙ Bid ∙ 𝛼, 其中𝛼 = 𝐹(𝐶𝑜𝑠𝑡 𝑟𝑒𝑎𝑙 , 𝐶𝑜𝑠𝑡 𝑡𝑎𝑟𝑔𝑒𝑡 ) 成本控制 智能出价示例 < 1, 𝛼= ൝ ≥ 1, 𝑖𝑓 𝐶𝑜𝑠𝑡 𝑟𝑒𝑎𝑙 > 𝐶𝑜𝑠𝑡 𝑡𝑎𝑟𝑔𝑒𝑡 𝑖𝑓 𝐶𝑜𝑠𝑡 𝑟𝑒𝑎𝑙 ≤ 𝐶𝑜𝑠𝑡 𝑡𝑎𝑟𝑔𝑒𝑡 最终,实际转化成本贴近目标转化成本, 且获得更多流量
56. 流量优选 放量中: 以高出价获得了低质流量进而导致放量效果不佳 缩量中: 因低出价错过了高质流量进而导致成本控制效果不佳 𝑒𝐶𝑃𝑀 = 𝑝CTR ∙ 𝑝𝐶𝑉R ∙ Bid ∙ 𝑔 𝛼, 𝑥 其中𝑥代表流量质量, 𝑔 ∙ 兼顾流量质量𝑥和成本𝛼
57. THANK YOU
58. 腾讯AMS品牌广告询量系统实践 Joyesjiang (江志) 腾讯AMS平台产品技术部 高级工程师
59. 目 录 01 品牌广告系统的技术/业务背景 02 询量系统关键功能与框架 03 询量系统关键模块的实现 04 有关品牌广告的思考
60. 品牌广告的特性 01 品牌广告系统的技术/业务背景 主要集中在 大媒体平台 以塑造品牌 形象为目标 客户主要为 各领域优质 客户 担保式投放 (GD) 主要计费方 式为CPM 大平台 长期收益 大客户 保价保量 量化计费 收入可预期 维护口碑 精准定向 流量预估 缺量风险 提前预定 提前下单 维护媒体方 良好口碑 广告位+复杂 标签定向 对未来流量 进行预估 对未保量部 分进行惩罚
61. 01 品牌广告系统的技术/业务背景 腾讯品牌广告业务规模 百 级别 万 级别 百 亿级 十 亿级 广告版位 日均订单 日均曝光 季度收入
62. 品牌广告业务流程 01 品牌广告系统的技术/业务背景 资源询量 某化妆品公司流量需求: • 未来两个月 • 视频前贴+中插广告位 • 北上广深 • 观看母婴频道 • 女性 售卖阶段 资源锁定 符合要求 剩余最大 可用库存: 80W 锁定流量 20W 排期锁定 合同录入、确认下单 订单投放 广告上线,以 20W 为保量目标投放 执行阶段 执行监控 统计投放效果,结算订单 库存预估 保量分配 库存管理 未来多天 保量已下单 未来多天 多广告位 询量最大量 多维度交叉 订单管理 询投一致 多天分配 实时交互 订单管理 订单播控 保量投放 单天预定 播控参数 询投一致 询锁量系统 在线投放系统
63. 品牌广告流量匹配二部图模型 02 询量系统关键功能与框架 Supply 新闻 男 上海 新闻 男 上海 少儿 男 上海 综艺 男 上海 电影 女 北京 综艺 女 北京 A B C C E 𝑠 1 𝑑 1 𝑠 2 𝑠 3 D .. . E 𝑠 𝑛 Demand 渠道 𝑑 2 𝒙 𝒊𝒋 .. . 内容 频次 年龄 地域  总体目标 平台  保量:求解 𝑠 节点在关联 𝑑 节点上的分配方案𝑥 𝑖𝑗 性别 …  问题规模  |Supply| 为维度交叉后库存槽数:亿级别 𝑑 𝑚  |Demand| 为系统中所有订单数:万级别  定向维度多且复杂,整体边数|E|:十亿级别 库存:用户流量 𝑥 𝑖𝑗 :资源𝑆 𝑖 提供给订单𝑑 𝑗 的库存比例 定向:订单流量需求维度约束
64. 品牌广告询锁量场景下的二部图模型 02 询量系统关键功能与框架 新闻 男 上海 新闻 男 上海 少儿 男 上海 综艺 男 上海 电影 女 北京 综艺 女 北京 A B C C D E S-DayN S-Day2 S-Day1 𝑠 1 𝑠 1 𝑠 1 𝑠 2 E Demand 𝑠 2 𝑠 2 𝑠 3 𝑠 3 .. . .. . .. . 𝑑 𝑚 𝑠 𝑛 𝑠 𝑛 𝑠 𝑛 𝑑 𝑚+1 𝑠 3 … 𝒙 𝒊𝒋  总体目标 𝑑 1 𝑑 2 .. . 内容 频次 渠道 年龄 地域 平台  保量:求解多天𝑠节点在关联 𝒅 节点上的分配方案𝑥 𝑖𝑗  询量:求解新增𝑑 𝑚+1 节点关联的𝑠节点最大剩余库存 性别 …  问题规模  |Supply| 为维度交叉后库存槽数:十亿级别  |Demand| 为系统中所有订单数:万级别  定向维度多且复杂,整体边数|E|:千亿级别 库存:用户流量 𝑥 𝑖𝑗 :资源𝑆 𝑖 提供给订单𝑑 𝑗 的库存比例 定向:订单流量需求维度约束
65. 品牌广告询锁量业务系统模块结构 02 询量系统关键功能与框架  多天  多维交叉  系统目标 |Demand|订单数:万级别  保量:每个订单的需求量得到满足 |Supply| 维度交叉后库存数:亿级别  询量:每个S库存得到充分利用 面向未来N天 求解Supply节点在关联Demand节 广告位/地域/平台等多级别维度 点上的可行分配方案𝑥 𝑖𝑗  影响因素繁多  询量最大化  快速索引 多种周期/维度关联/突发事件等 求解新增Demand节点关联的 |E|订单-维度匹配关系:千亿级别 多类因素影响 Supply节点最大剩余库存𝑑 𝑚+1  最优:优化订单-库存之间匹配关系,促进系统收益最大  系统挑战  服务未来日期:面向未来N天提供服务。  |Demand| 为系统中所有订单数:万级别  定向维度多且复杂,整体边数|E|:千亿级别 库存预估 分配算法 库存管理
66. 库存预估模块 03 询量系统关键模块的实现  关键特性 库 存  时间序列:历史库存数据长短期趋势、周期特征  外部信息:节假日/大剧首播/舆情变化等影响 5月1日 6月1日  空间分布: 库存在多个维度的分布 订单1 订 单 订单2 订单3 订单4 订单5 10月1日 10月2日 10月15日 预估多天、多维度交叉下的库存数据 订单预定量固定,库存预估偏差可能导致缺量  核心挑战  多天多维度: 预估目标周期长,维度多  未知因素: 众多未知因素导致库存波动
67. 库存预估算法演进 03 询量系统关键模块的实现 预估因子 最近N日库存 + 地域、平台、内容等核心维度 + 时间序列、维度间关联关系 趋势项 + 预估方法 周期项 + 随机项 第一代 线性回归 第二代 时间序列 第三代 深度学习-时空张量分解
68. 03 询量系统关键模块的实现 基于深度学习的时空张量分解库存预估算法 [KDD2019] Large-scale User Visits Understanding and Forecasting with Deep Spatial-Temporal Tensor Factorization Framework Problem Description Deep spatial-temporal tensor factorization forecasting framework. Models for comparison
69. 03 询量系统关键模块的实现 库存模型:基于核心维度库存预估进行概率扩展 ρ 𝑖𝑗 内容 年龄 平台 𝑉 核心维度, 时间, 性别 性别 = 𝑃 性别 核心维度, 时间 𝑃 时间 核心维度 𝑉(核心维度) 时间 地域 … 𝐼𝑓 𝑃 年龄, 性别 = 𝑃 年龄 𝑃 性别 𝑉 核心维度, 年龄, 性别 核心维度 Attributes correlations Attributes Conditional probability = 𝑃 性别 核心维度 𝑃 年龄 核心维度 𝑉(核心维度) Conditional probability expansion
70. 库存模型:订单库存索引匹配 03 询量系统关键模块的实现 库存预估 ALL 地域 内容 库存节点列表 地域 内容 内容 A A 平台 VV库存 时间 年龄 A … 时间 … B C i ... N Tag Tag1 Tag2 Tag3 内容 平台 性别 C ... B N B C 𝑣𝑣 1 𝑣𝑣 2 𝑣𝑣 3 𝑣𝑣 1 𝑣𝑣 2 𝑣𝑣 1 𝑣𝑣 2 𝑣𝑣 3 𝑣𝑣 4 . . . 𝑣𝑣 1 𝑣𝑣 2 维度1 0 1 1 0 1 1 0 0 1 . . . 0 1 维度2 0 0 0 1 1 0 0 1 0 . . . 0 1 维度n 0 1 0 0 1 1 0 1 . . . 0 0 .. . 0 属性集合 n & 标签定向 & BitMap 维度定向 Order & Result
71. 库存分配算法:算法原理 03 询量系统关键模块的实现 S-DayN S-Day2 S-Day1 𝑠 1 𝑠 1 𝑠 1 𝑠 2 𝑠 3 .. . 𝑠 𝑛 𝑠 2 … E 𝑠 2 Demand 𝑑 1 𝑑 2 .. . 𝑠 3 𝑠 3 .. . .. . 𝑑 𝑚 𝑠 𝑛 𝑑 𝑚+1 𝑠 𝑛 𝒙 𝒊𝒋  询量目标  保量目标 ( 式2.2 ) 𝑀𝑖𝑛𝑖𝑚𝑖𝑧𝑒 ෍ 𝑝 𝑗 𝑢 𝑗 𝑗 𝑠. 𝑡. ∀𝑖, 𝑗 𝑠 𝑖 𝑥 𝑖𝑗 ≤ 𝑓 𝑗 ∀𝑗 ෍ ∀𝑖 ෍ i ∈ Γ (𝑗) 𝑗 ∈ Γ (𝑖) 𝑥 𝑖𝑗 𝑠 𝑖 + u j ≥ 𝑑 𝑗 𝑥 𝑖𝑗 ≤ 1 ∀𝑖, 𝑗 𝑥 𝑖𝑗 , 𝑢 𝑗 ≥ 0 频控约束 需求约束 供给约束 非负约束 𝑀aximize ෍ 𝑗,i ∈ Γ (𝑗) 𝑠. 𝑡. ∀𝑗 ෍ i ∈ Γ (𝑗) ∀𝑖 ෍ 𝑥 𝑖𝑗 d 𝑗 𝑥 𝑖𝑗 𝑠 𝑖 ≥ 𝑑 𝑗 需求约束 𝑥 𝑖𝑗 ≤ 1 供给约束 𝑗 ∈ Γ (𝑖) ∀𝑖, 𝑗 𝑥 𝑖𝑗 ≥ 0 非负约束 𝑢 𝑗 为订单缺量,𝑝 𝑗 为订单缺量损失权重 𝑥 𝑖𝑗 :资源𝑆 𝑖 提供给订单𝑑 𝑗 的库存比例 求解合理匹配方案,使得整体缺量最小 基于保量规则,求解系统整体收益最大化
72. 库存分配算法-保量问题求解 03 询量系统关键模块的实现 Supply E 𝑠 1 𝑑 1 𝑠 2 𝑠 3 .. . 𝑠 𝑛 Demand 𝑉 j 1 𝑀𝑖𝑛𝑖𝑚𝑖𝑧𝑒 ෍ 𝑠 𝑖 𝑥 − 𝜃 𝑗 2 𝑗,i ∈ Γ (𝑗) 𝜃 𝑗 𝑖𝑗 𝑤ℎ𝑒𝑟𝑒 𝑑 2 𝒙 𝒊𝒋 .. . 𝑑 𝑚 PRIMARY SHALE算法 𝑠. 𝑡. 𝜃 𝑗 = + ෍ 𝑝 𝑗 𝑢 𝑗 𝑗 ∀𝑗 ෍ i ∈ Γ (𝑗) ∀𝑖 ෍ 𝑥 𝑖𝑗 ≤ 1 𝐿𝑎𝑔𝑟𝑎𝑛𝑔𝑖𝑎𝑛: 𝑉 𝑗 1 𝐿(𝑥, 𝑢, 𝛼, 𝛽, 𝜑, 𝛾) = σ 𝑗,i ∈ Γ (𝑗) 𝑠 𝑖 𝑥 𝑖𝑗 − 𝜃 𝑗 2 2 𝜃 𝑗 + σ 𝑗 𝑝 𝑗 𝑢 𝑗 − σ 𝛼 𝑗 𝑠 𝑖 𝑥 𝑖𝑗 + 𝑢 𝑗 − 𝑑 𝑗 + σ 𝛽 𝑖 σ 𝑥 𝑖𝑗 − 1 − σ 𝛾 𝑖𝑗 𝑥 𝑖𝑗 − σ 𝜑 𝑗 𝑢 𝑗 𝑓 𝑗 + σ 𝑗∈𝐽 σ 𝑖∈𝜏(𝐽) 𝜌 𝑖𝑗 (𝑥 𝑖𝑗 − ) 𝑠 𝑖 频控约束 𝑥 𝑖𝑗 𝑠 𝑖 + u j ≥ 𝑑 𝑗 ∀𝑖, 𝑗 𝑥 𝑖𝑗 , 𝑢 𝑗 ≥ 0 ( 式2.2 ) d 𝑗 ,𝑆 = ෍ 𝑠 𝑖 𝑆 𝑗 𝑗 i ∈ Γ (𝑗) ∀𝑖, 𝑗 𝑠 𝑖 𝑥 𝑖𝑗 ≤ 𝑓 𝑗 𝑗 ∈ Γ (𝑖) 保证已下单预定库存的量得到满足 2 DUAL 需求约束 供给约束 非负约束 𝑥 𝑖𝑗 = 𝑚𝑖𝑛 梯度下降迭代求解 & KKT条件 𝑓 𝑗 𝛼 𝑗 − 𝛽 𝑖 , 𝑚𝑎𝑥 0, 𝜽 𝒋 1 + 𝑠 𝑖 𝑉 j wℎ𝑒𝑟𝑒 𝜽 𝒋 = σ  𝛼 𝑗 : 订单获取库存的权重因子 值越高订单订单获取库存能力越强 𝑑 𝑗 𝑠 𝑖∈ (𝑗) 𝑖 Γ 最大代表性分配  𝛽 𝑖 : 库存槽资源紧缺度权重因子 值越高则该库存槽的紧缺程度越高 SHALE: An Efficient Algorithm for Allocation of Guaranteed Display Advertising
73. 库存分配算法-保量问题求解 03 询量系统关键模块的实现 𝒅𝒆𝒇 𝑔 𝑖𝑗 𝑧 = 𝑚𝑎𝑥 0, 𝜽 𝒋 1 + 𝑧 𝑉 j , 按订单分配顺序,基于剩余库存计算如下参数: 𝛼 𝑗 :订单分配权重因子 ෍ i ∈ Γ (𝑗) 𝑠 𝑖 𝑔 𝑖𝑗 (𝛼 𝑗 − 𝛽 𝑖 ) = 𝑑 𝑗 𝑖𝑓 𝛼 𝑗 > 𝑝 𝑗 𝑂𝑟 no solution, 𝛼 𝑗 = 𝑝 𝑗 𝛼 𝑗 ՜𝛽 𝑖 迭代求解 𝛽 𝑖 ՜𝛼 𝑗 𝛽 𝑖 :资源紧缺度权重因子 ෍ 𝑗 ∈ Γ (𝑖) 𝑔 𝑖𝑗 (𝛼 𝑗 − 𝛽 𝑖 ) = 1 𝑖𝑓 𝛽 𝑖 > 0 𝑂𝑟 no solution, 𝛽 𝑖 = 0 1. 𝐷𝑒𝑓𝑖𝑛𝑒 𝑎𝑙𝑙𝑜𝑐𝑎𝑡𝑖𝑜𝑛 𝑜𝑟𝑑𝑒𝑟 𝑑𝑒𝑐𝑟𝑒𝑎𝑠𝑖𝑛𝑔 𝜃 𝑗 𝑜𝑟 𝑎𝑠𝑐𝑒𝑛𝑑𝑖𝑛𝑔 𝑆 𝑗 2. 𝐼𝑛𝑖𝑡𝑖𝑎𝑙𝑖𝑧𝑒 𝑟 𝑖 = 𝑠 𝑖 𝑓𝑜𝑟 each impression 𝑖. 3. 𝐹𝑜𝑟 𝑒𝑎𝑐ℎ 𝑐𝑜𝑛𝑡𝑟𝑎𝑐𝑡 𝑗, 𝑖𝑛 𝑎𝑙𝑙𝑜𝑐𝑎𝑡𝑖𝑜𝑛 𝑜𝑟𝑑𝑒𝑟, 𝑑𝑜: a) 𝐹𝑖𝑛𝑑 𝜁 𝑗 𝑡ℎ𝑎𝑡 𝑠𝑎𝑡𝑖𝑠𝑓𝑖𝑒𝑠 ෍ i ∈ Γ (𝑗) min 𝑟 𝑖 , 𝑠 𝑖 𝑔 𝑖𝑗 𝜁 𝑗 − β 𝑖  算法特性  解规模从|E|降低为库存槽数| S | + 订单数| D |  解规模仍较大(亿级别),直接求解耗时巨大。 = 𝑑 𝑗  全局迭代求解最优解,需对全局订单进行多轮分配操作。 𝑠𝑒𝑡𝑡𝑖𝑛𝑔 𝜁 𝑗 = ∞ 𝑖𝑓 𝑡ℎ𝑒𝑟𝑒 𝑖𝑠 𝑛𝑜 𝑠𝑜𝑙𝑢𝑡𝑖𝑜𝑛. b) 𝐹𝑜𝑟 each impression i eligible for j, update 𝑟 𝑖 = 𝑟 𝑖 − 𝑚𝑖𝑛 𝑟 𝑖 , 𝑠 𝑖 𝑔 𝑖𝑗 𝜁 𝑗 − β 𝑖 . 输出参数:𝜁 𝑗 - 订单级别 β 𝑖 - 库存数级别 可较好的实现询锁量业务中保量问题的求解 适用于|S|和|D|固定的场景下求解最优匹配解
74. 库存分配算法-询量问题求解 03 询量系统关键模块的实现 Supply E 𝑠 1 𝑠 2 𝑠 3 𝒙 𝒊𝒋 D-1 D-K 𝑑 1 𝑑 1 𝑑 2 .. . 𝑑 2 .. . … .. . 𝑑 𝑚 𝑑 𝑚 𝑠 𝑛 𝑣 1 𝑣 𝐾 𝑚𝑎𝑥 求解存在保量解的方案中𝑣 𝑘 最大值 HWM算法  业务难点 1. 𝐷𝑒𝑓𝑖𝑛𝑒 𝑎𝑙𝑙𝑜𝑐𝑎𝑡𝑖𝑜𝑛 𝑜𝑟𝑑𝑒𝑟 𝑑𝑒𝑐𝑟𝑒𝑎𝑠𝑖𝑛𝑔 𝜃 𝑗 𝑜𝑟 𝑎𝑠𝑐𝑒𝑛𝑑𝑖𝑛𝑔 𝑆 𝑗  询量过程需要进行多次全局解的计算。 2. 𝐼𝑛𝑖𝑡𝑖𝑎𝑙𝑖𝑧𝑒 𝑟 𝑖 = 𝑠 𝑖 𝑓𝑜𝑟 each impression 𝑖.  需对全局订单进行多轮分配操作。 3. 𝐹𝑜𝑟 𝑒𝑎𝑐ℎ 𝑐𝑜𝑛𝑡𝑟𝑎𝑐𝑡 𝑗, 𝑖𝑛 𝑎𝑙𝑙𝑜𝑐𝑎𝑡𝑖𝑜𝑛 𝑜𝑟𝑑𝑒𝑟, 𝑑𝑜: a) 𝐹𝑖𝑛𝑑 𝜁 𝑗 𝑡ℎ𝑎𝑡 𝑠𝑎𝑡𝑖𝑠𝑓𝑖𝑒𝑠 进一步减少参数 𝑑 𝑚+1 𝑥 𝑖𝑗 = 𝑚𝑖𝑛 𝑠𝑒𝑡 𝛽 𝑖 ≡ 0 𝑓 𝑗 𝛼 𝑗 − 𝛽 𝑖 , 𝑚𝑎𝑥 0, 𝜽 𝒋 1 + 𝑠 𝑖 𝑉 j ෍ i ∈ Γ (𝑗) = 𝑚𝑖𝑛 𝑓 𝑗 , 𝑚𝑎𝑥 0, 𝜁 𝑗 𝑠 𝑖 将解的参数规模降为订单数|D|,可实现快速求解 min 𝑟 𝑖 , 𝑠 𝑖 𝜁 𝑗 = 𝑑 𝑗 𝑠𝑒𝑡𝑡𝑖𝑛𝑔 𝜁 𝑗 = ∞ 𝑖𝑓 𝑡ℎ𝑒𝑟𝑒 𝑖𝑠 𝑛𝑜 𝑠𝑜𝑙𝑢𝑡𝑖𝑜𝑛. b) 𝐹𝑜𝑟 each impression i eligible for j, update 𝑟 𝑖 = 𝑟 𝑖 − 𝑚𝑖𝑛 𝑟 𝑖 , 𝑠 𝑖 𝜁 𝑗 . Ad Serving Using a Compact Allocation Plan 输出参数:𝜁 𝑗 - 订单级别
75. 库存分配算法:算法对比分析 03 询量系统关键模块的实现 常温饮料 100 100 100 Under-delivery Rate 冰镇饮料 100 100 100 100 σ j 𝑢 𝑗 σ 𝑗 𝑑 𝑗 100 Penalty Cost 80 50% 80 55% 𝜁 𝑗 𝜃 𝑗 40 𝑠 1 50% 𝜃 𝑗 40 50 𝑠 2 80 80 50 𝑠 4 HWM | SHALE 𝑠 1 𝑠 2 𝜁 𝑗 β 4 β 1 𝑠 3 6𝑥% 𝑠 3 𝑠 4 4杯满杯100ml,共剩余250ml的饮料,如何优(zhuang)雅(bi)的得到200ml饮料? ෍ 𝑝 𝑗 𝑢 𝑗 𝑗 L2 Distance 𝑉 j 1 𝑠 𝑖 𝑥 − 𝜃 𝑗 ෍ 2 𝑗,i ∈ Γ (𝑗) 𝜃 𝑗 𝑖𝑗 2  SHALE算法较HWM算法在解精度上有较大提升  SHALE算法多轮迭代带来的求解方案提升有限
76. 库存分配算法:算法对比分析 03 询量系统关键模块的实现 北京  订单A 定向:通投 预定量:800CPM(40%) 综艺  订单B 定向: 北京 预定量:800CPM(80%) 电视剧 北京 上海 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 引入 订单优先级 先B后A 下单顺序: A --> B 100 100 100 100 订单B缺量200CPM 朴素算法:先到先得+均摊  订单A 综艺 600CPM(75%)  订单B 北京 800CPM(80%) 上海 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 先B后A: A缺量120CPM 先A后B: B缺量100CPM 订单A/B均无缺量 HWM算法:基于订单紧缺度顺序分配 β 𝑖 > 𝜁 𝐵 + 𝐶 𝑖 订单B无法占用 100 100 100 100 100 100 100 100 先B后A: A/B均不缺量 100 100 100 100 100 100 100 先A后B: A/B均不缺量 100 100 100 100 100 100 100 100 60 100 40 100 100 100 100 100 60 100 40 100 100 100 100 100 60 100 100 100 60 100 100 60 100 订单紧缺度 库存紧缺度 β 𝑖 订单A缺量120CPM β 𝑖 > 𝜁 𝐴 + 𝐶 𝑖 订单A无法占用 HWM算法-BadCase SHALE算法:订单紧缺度+库存紧缺度 全局最优分配
77. 库存分配算法:二阶段学习框架 03 询量系统关键模块的实现 批量学习 设置𝑑 𝑥 库存值  SHALE  对基础约束,频次和多贴不重复约束进行全局建模。  多轮迭代求解最优解近优解,较耗时  解对应的参数空间较大(|S|+|D|),较占空间  HWM  单轮计算求解贪心解,耗时低  解对应的参数空间较小(|D|),适于并行 在线学习 SHALE 批量学习 用最优化算法来替代启发式算法 HWM 在线学习 调节𝑑 𝑥 库存值? N 询量结果𝑑 𝑥 十分钟级更新 Y  参照粗分配的分配结果,逐单考虑业务细节逻辑对粗 分配结果进行微调 秒级分配
78. 品牌广告后台系统整体框架 03 询量系统关键模块的实现 业务系统 Spark/GPU Driver Executor worker Executor worker worker Executor worker 业务逻辑模块 worker worker 迭代 计算 𝛼,𝛽 二部图 保量分配 询量最大化 流量单元𝛽信息 订单 管理 库存 预估 库存结构 分配算法模块 分配算法参数更新 数 据 模 块 库存管理模块 预估库存 库存预估系统 订单数据 在线分配 询 锁 量 系 统 在线投放
79. 03 询量系统关键模块的实现 品牌广告后台系统整体框架 Order_1:上海, 8-30~10-31, 腾讯视频前贴, 100CPM Order_1 Order_2: 上海, 男, 9-30~10-31, 腾讯视频前贴, 100CPM 询量请求 Executor1 Order_3: 广州, 电影, 8-30~10-31, 腾讯视频前贴, 100CPM Scheduler Order_1: 剩余100/500CPM Proxy Order_4: 深圳, 8-30~10-31, 天天K歌闪屏, 100CPM ... Order_5: 全国, 8-30~10-31, 腾讯视频闪屏, 100CPM Executor2 Order_2 Executor3 .. . Order_2: 剩余100/200CPM 返回结果 Order_3: 剩余80/80CPM Order_2 Order_4: 剩余100/100CPM ... Order_5: 剩余100/10000CPM 秒级 十秒级 .. . ExecutorN 计算集群 业务逻辑模块 分配 算法 模块 库存 管理 模块 询锁量系统 数 据 模 块
80. 附录1 - 属性合并 N 03 询量系统关键模块的实现 十万级别 时间1 ALL … 内容2 平台1 内容3 地域2 内容4 平台2 Attr6 1 1 1 1 1 1 0 0 0 0 0 时间2 Attr5 0 0 0 1 1 0 … Attr4 0 0 0 1 1 0 性别1 Attr3 1 1 1 1 1 1 年龄1 Attr2 1 1 1 1 1 1 年龄2 Attr1 1 1 1 1 1 1 Ad 1 Ad 2 Ad 3 Ad 4 Ad 5 Ad n 原始库存列表(亿级别) 订单 0 .. . 地域1 Attr7 .. . 内容1 定向组合1 定向组合2 定向组合n 定向聚合(千级别) new_n . . . new3 new2 库 存 聚 合 (百万) 定向条件 𝑑 1 南京+北京+上海 𝑑 2 南京+北京+上海 𝑑 3 𝑑 1 上海+广州 库存 列表 南京+北京 上海 广州 𝑑 2 Target1 𝑑 3 Target2 Attr1 Attr2 Attr3 new1  模块功能 定向 组合  对订单-定向关联关系进行快速合并,使得库存列 表的冗余度最小,用于订单的库存分配。  最终库存结构大小:百万级别
81. 附录2 - 频次约束 03 询量系统关键模块的实现 A B C 视频内容 视频内容 视频内容 𝑓 𝑚 𝑗 , 𝑛 𝑗 , Γ 𝑗 , 𝐽 = 𝑓 𝑚 𝑗 , 𝑛 𝑗 , Γ 𝑖 = σ u min 𝑣 𝑢 Γ 𝑗 , 𝑛 𝑗 , 𝑚 𝑗 σ 𝑢 𝑣 𝑢 (Γ 𝑗 , 𝑛 𝑗 ) 可使用图中V=m 线下的面积占比, 模拟频次比例值 第二单-频控2次 第一单-频控1次-需求2 目标:模拟剩余库存中满足订单频控约束的有效库存占比
82. 04 品牌广告的思考 品牌/效果的边界 机器学习/AI技术应用
83. THANK YOU 微信公众号: 腾讯品牌广告技术 个人邮箱:583267380@qq.com
84. 爱奇艺技术产品公众号

首页 - Wiki
Copyright © 2011-2024 iteam. Current version is 2.123.1. UTC+08:00, 2024-03-29 14:37
浙ICP备14020137号-1 $访客地图$