预算平滑技术在58商业的探索与实践

• 主流的预算平滑技术简介
  
• 58应用场景简介
  
• Budget Pacing的算法原理
  
• 系统设计
  
• 上线效果
  
• 总结和展望
  
  

这种方法在实践中存在2个难题：首先是在RTB（real-time bidding）类广告中，竞价环境不断在发生变化，并不是一个稳定的环境，通过调节bid难以精准的控制广告的预算消耗；其次，媒体方（SSP）通常都会设有一个底价（reserve price），当调节后的出价低于底价时、广告不被展示，影响策略的调节效果。
2） 调节广告曝光概率（probabilistic throttling）
论文[2]和[3]则基于调节广告曝光概率的方法，其原理是将广告预算以某种方式（如根据一天中的流量分布或转化的分布）分配至各个时间段，当某个时间段消耗的预算超过了计划值，策略就会降低广告的曝光量或减少广告的竞价次数，反之则增加。

2、基于强化学习的方法
使用强化学习（reinforcement learning）的技术解决RTB广告的出价策略已成为当前业界的研究热点。通过将预算作为广告竞价的一个重要约束引入到RL模型中，可以更加优雅的解决预算的消耗过快的问题，并达成广告主投放目标。相比基于pacing方法，基于强化学习的方法目前更多还处于研究阶段。
这方面的典型研究如下：
1） 2017年张伟楠团队在论文[4]提出将强化学习用于解决RTB领域的广告出价问题。论文使用MDP模型（Markov Decision Process）对RTB的广告竞价问题进行建模，通过动态规划（dynamic programming）的方式找到最优出价策略。文章在iPinYou RTB数据集上做了实验，和多个基线出价策略相比，该模型可以在相同广告消耗下获得更多的点击；模型还在Vlion DSP线上系统做了ab测，观察到在该模型的控制下，广告的预算消耗和点击分布都更加平滑。
2） 2018年阿里发表论文[5]，提出了多智能体的强化学习（Multi-Agent Reinforcement Learning）来处理预算约束下的广告出价。常见的RL方法只能为单个广告主建立出价策略，该论文通过对广告主的聚类和MARL方法，可以为多个广告主确定最优出价策略。在离线实验中，相比单智能体的RL方法，该模型帮助广告主在有限预算的条件下获得了更多的订单量。

我们在58房产、招聘、黄页、二手车业务线上都落地了预算平滑策略。这4类业务有以下特点：
1） 以小微广告主居多、每日的预算极为有限，若没有预算控制策略广告每天在线时间会很短，例如有些广告每天的预算之内支持不到10次的点击，在线时长不到10分钟；
2） 产品区别大。黄页的在线广告属于竞价cpc类产品，房产属于定价cpc类产品；此外，这两类产品在广告的售卖方式、召回排序等方面的逻辑都不同；
3） 流量构成较为复杂，广告主在不同流量上的转化成本有一定的差异。首先，从平台角度，包含了PC、M、APP、小程序4种类型；然后，从场景角度，可以分为推荐、搜索、列表3类；其次，从分布角度看，流量在不同城市、一天里的不同时间段内分布差异大；
在具体实践时，为了缓解小微广告主集中消耗的问题，预算平滑策略需要能够快速、精准的控制广告的预算消耗情况；为了能够适应不同的商业产品，预算平滑策略需要具有良好的通用性；为了帮助广告主降低转化成本，预算平滑策略还需要能够帮助广告主优先将广告展示在低成本的流量上。
综合以上需求，我们在实践中采用了pacing方法，并核心参考了论文[2]中Linkin的做法，同时结合58的应用场景对算法做了改进。模型上线后在缓解广告预算快速消耗，延长广告在线时长，降低广告主转化成本上取得了较为显著的效果。下面对我们的方法做详细说明。

基于Pacing方法的预算平滑，核心在于“计划“与”控制“，具体如下：
1） 预算分配，即制定一个合理的预算消耗计划。
例如可以将广告预算按一天24小时划分成24份，每小时的消耗不能超过对应的预算份额。一个合理的预算计划可以帮助广告主达成预算消耗目标、同时避免预算在某个时间段被集中消耗。
2） 预算控制，即按“计划”控制广告的消耗。
用户点击天然会滞后于广告的展现，偶然出现的流量突增等因素都会给预算控制带来了不小的挑战。
后文将从这2个方面展开，论述我们在58业务场景下的做法。

1、预算分配（budget allocation）
要解决广告预算快速消耗的问题，首先需要明确什么样的消耗方式（即预算分配，budget allocation）是合理的。这是一个开放性的问题，在不同的业务场景下往往有不同的答案，常见的做法是按一天中流量、或转化的分布情况进行分配，考虑到58是一个偏低频的应用，每天的转化分布波动较大而流量分布相对稳定，因此在实践中我们采用基于流量的分布对预算进行调节。

图1 广告请求量(归一化后)的随时间的累积分布图

在初期，我们使用的是Linkin的做法，即使用固定调节速率对PTR值进行控制，后期我们根据上线效果，改为使用基于PID控制的方法。具体如下：
 2.1、初版控制方法: 基于固定的调节速率

其中，cost是广告的消耗，pv是广告的曝光，ctr是广告的点击率。我们使用统计的方法计算广告的点击率，对于新广告则使用具有相似投放需求的其它广告的平均点击率。

• 实时统计模块：使用实时处理框架Flink技术，通过消费消息队列Kafka里的广告实时展现和点击（计费）数据，统计每条广告在固定时间周期里的曝光量和预算消耗。
  
• 预算分配模块：根据广告的预算计算当前时间段内的计划消耗（或计划曝光量）。
  
• PID控制模块：实现PID控制逻辑，根据广告的计划值和实际值的偏差、输出广告的PTR值。
  
• PTR过滤模块：为本次请求召回的每条广告生成一个[0,1]区间的随机数，若该随机数小于这条广告的PTR值，该广告在本次广告请求中不参与竞价，反之则参与。同时，在这个模块中还会集成AB test分流功能（基于广告的分流）和一些用于支持业务需求的功能（例如针对广告的黑白名单等）。
  

我们在58多个业务线的（cpc类）在线广告产品中较为成功的落地了基于pacing原理的预算平滑策略，并在“延长广告在线时长，降低广告主转化成本”的目标上取得了一定的成绩。后续我们考虑将预算平滑和其它策略（如ocpc）相结合，通过强化学习的技术手段、智能化的帮助广告主完成广告投放，并实现广告主业务目标。

阅读推荐