模型整体化方案设计同业务特点紧密相关,团队的业务形态,主要场景覆盖美团/大众点评双侧的搜索广告,筛选列表广告,信息流广告三种业务形式(如图1所示),意图依次从强到弱。每一个业务也具体包括餐饮、丽人、休闲娱乐、结婚、酒店等不同品类。丰富的业务特点使得算法需要从多个角度进行结合,为团队不断进行新模型的灵活设计提供了广阔的空间。进一步理解业务特点,上述的O2O(Online to Offline)业务类型,将线下的商业机会与互联网结合,同传统的线上业务的核心差异在两方面,一方面是Online to Offline中的“to”,从线上到线下过程中,用户会重点考虑线上线下间的距离因素,因此空间维度的LBS(Location Based Service)距离约束是一个重要特点;另一方面是Online to Offline中的“Offline”,线下门店消费习惯,行为周期具有明显时间维度特点,例如在月级别固定消费的美甲行为,因此长周期性为另一重要特点。基于以上O2O业务特点,模型整体建模设计有以下空间与时间维度两方面的挑战。a. LBS空间距离约束:特点:线上门店/商品需要在有限的距离约束下展示,不同空间位置差异性大。
挑战:带来了候选量差异大,上下文刻画重要等挑战。
b. 长周期性:特点:门店消费习惯具有周期性强,长期行为影响大等特点。挑战:用户的长期兴趣建模挑战大,并且因常规模型训练方式较难学习周期性,训练方式存在遗忘历史信息挑战。
上文介绍了基于O2O特点的CTR技术突破,我们将优化方法推广在转化率、交易额预估问题,其中LBS距离约束在转化率中起到更重要的影响,因方法接近,不再进行赘述。同一技术的点击率预估优化效果在不同业务类型中也存在一定差异,意图强的搜索广告场景,上下文差异性更大,Context相关优化有更明显效果。而在意图弱的信息流广告场景,User建模有更大的空间。那么预估技术如何持续突破的系统上线?迭代路径从前期通过模型复杂度提升,到现阶段结合问题的模型灵活设计均取得效果,而未来我们认为将越来越剥离模块与目标设置的现状,消除建模中人为的设置假设。如何抽丝剥茧,回归问题本质?我们认为有如下新趋势。a. 模型内推理量级动态化广告系统通常分为召回、粗排、精排(预估)等多个模块,模块漏斗遵循的一个核心设计逻辑是简单模块打分量级大(例如粗排),复杂模块打分量级低(例如精排)。以递归视角进一步理解子模块设计,将设计逻辑泛化到模型内,同样存在简单的网络部分打分量大,复杂的网络部分打分量低,同一个网络打分量差异化的优化方式。例如粗排常用的双塔网络结构(Two-tower Network)在User端打分一次,Ad端打分多次。更具一般性的形式并不局限在表达能力受限的双塔结构,而在于更充分的应用打分量与复杂度的关系进行灵活设计,例如本文阐述的DPIN(Deep Position-wise Interaction Network)[7]组合网络部分打分量大,基础网络部分打分量小,同在本文阐述的异构混排网络,超长序列预训练优化同样适用于这一趋势。未来将在更细化的层面进行推理量级动态化,通过每一个局部精度与性能的平衡达到整体的最优平衡。b. 问题间评估指标差异化评测指标是一个比优化方式甚至更重要的问题,点击率预估最经典的评测指标为AUC,而随着模型精度的提升,离线AUC提升同线上不一致的情况逐渐增多。回归到预估问题本身,实际排序系统是在固定请求固定位次下的最优排序,等价寻优User × Context × Time限定条件的Ad最优序。time条件在持续变化难建模,为简化问题,以User/Context维度分组,近似寻优Ad最优序。基于以上假设,User/Context分组的“组间序”同“组内序”并不具备等价的业务意义。例如个性化优化问题,每一个User作为一组进行分组为例,User Group AUC[12]同线上具有更强的一致性;而在Context中的Position Bias问题中,我们发现通过Position Group AUC(PAUC)[7]评估同线上系统具有更强的一致性。在全局AUC增长挑战性变大的背景下,不同问题进行差异性评估指标设计,进而指导模型优化,是取得效果的一个关键趋势。c. 链路模块间目标多元化系统整体目标面对排序问题,先是解耦为召回、粗排、精排等多模块独立优化,而后针对整体性排序问题,链路目标一致性优化成为一个明显的演进趋势。在召回->粗排->精排目标一致,取得明显效果的同时,存在着因多模块过于同质化、协同共振引起的马太效应。以召回为例,是否应该由其他路模块,例如探索路召回来解决这个问题?更具泛化性地,多路召回之间的强互补性,能够提供给下游更优的候选超集,召回各个路之间面向Diversity Loss进行优化是未来的探索性方向之一。随着模块间关系动态变化,广告系统目标设计存在着一致性与差异性的辩证关系。d. 搜索推荐边界模糊化从广告视角,团队内的搜索广告、推荐广告间做法呈现逐步边界模糊化特点。传统搜索广告围绕意图明确进行Query理解,进而内容适配。逐渐Query相关的刻画不能完全满足用户意图的细化,搜索问题逐渐转变为在Query约束下的个性化匹配问题。边界模糊化带来的一个技术现象就是全域数据的运用,搜索、推荐间的全方位深度迁移学习是取得效果的一个关键。e. 模型学习非监督化如图11所示,整个广告系统中,是在用户交互、数据、模型之间不断产生反馈循环,在这个过程中会有偏差循环放大的问题,例如产生偏差的数据会喂入模型影响展示,数据回溯到模型形成进一步归纳偏差。传统的建模方式是将整个动态的系统简化为监督问题进行预估建模,优化集合仅为线上集合的子集,效果限制随迭代愈发明显。未来针对监督模型无法充分建模的候选超集依然有较大空间。在实际动态演化的广告系统中,无论是新目标定义、模型优化还是AB Test评测方式都有较大的探索潜能。Debiasing问题优化详情参照团队的KDD Cup 2020冠军技术分享《KDD Cup 2020 Debiasing比赛冠军技术方案及在美团的实践》。
作者简介
胡可、坚强、张博、漆毅、庆涛、曲檀、程佳、雷军等,均来自美团广告平台技术部。
参考文献
[1] Friedman J H . Greedy Function Approximation: A Gradient Boosting Machine[J]. Annals of Statistics, 2001, 29(5):1189-1232.[2] Rendle S. Factorization machines[C]//2010 IEEE International conference on data mining. IEEE, 2010: 995-1000.[3] HT Cheng, et al. Wide & Deep Learning for Recommender Systems, 2016[4] Zhou, Guorui, et al. “Deep interest network for click-through rate prediction.” Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018[5] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts. ACM, 2018.[6] Wen, Ling, Chua. A closer look at strategies for memorization.[J]. Clavier Companion, 2014, 6(6):50-52.[7] Huang J, Hu K, Tang Q, et al. Deep Position-wise Interaction Network for CTR Prediction[J]. arXiv preprint arXiv:2106.05482, 2021.[8] Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction[9] Qi, Yi, et al. "Trilateral Spatiotemporal Attention Network for User Behavior Modeling in Location-based Search", CIKM 2021.[10] Overcoming catastrophic forgetting in neural networks[J]. Proceedings of the National Academy of Sciences of the United States of America, 2017.[11] M. Zinkevich. Online convex programming and generalized infinitesimal gradient ascent. In ICML, 2003.[12] Optimized Cost per Click in Taobao Display Advertising[C]// the 23rd ACM SIGKDD International Conference. ACM, 2017.[13] KDD Cup 2020 Debiasing比赛冠军技术方案及在美团的实践