在线广告的发展过程中，客户对于广告价值的要求日趋严格。客户投放广告的初衷是获取更大的广告收益，也就是更多的广告消耗与更高的ROI。广告链路优化越深，平台对流量分发的准度越高，客户的RO就越有保障，进而广告预算、出价的天花板也会更高。因此，广告计费模式的演变过程也是逐渐由浅到深的。
在线广告演变过程
对于平台而言：越接近于后端的售卖方式，广告平台的优化链路越长，需要承担更大的收益风险，也将带来更多的技术挑战。
例如：若客户A，将其转化出价设置很高，稳定投放ocpc一段时间后转化数据出现较大波动（如链路发生问题或者故意回传遗漏），就会在短时间内导致平台cvr预估偏高，在模型和出价参数重新收敛这段时间内，由于赔付规则的存在，平台会承担这部分预估偏差带来的损失。
对于广告主而言：越接近于后端的售卖方式，其风险更可控、收益空间更高。因此，也更有动力放预算提出价。
例如：客户B，本来通过cpc投放。平台只会给他高点击率的流量，而没有保障后续转化效果。但通过ocpc投放，直接给定转化出价（如：加微成本、下载成本等），广告转化率会更高其自身也只需要承担转化成本->ROI的波动，曝光->转化的风险由平台承担。
广告链路优化路径
广告算法策略的设计初衷便是解决业务中的实际困难，提升客户体验与流量分发效率。喜马拉雅的广告投放链路优化工作是一项持续进行的长期工作。最近一年，我们以平台&广告主双赢为目标，努力为客户优化深层投放链路的效果。下文中，主要讲述我们在广告深层投放效果优化的探索历程。
喜马拉雅广告深层投放效果优化
近一年中，对于广告深层投放效果优化，主要有三个阶段：ocpc深度双出价、全渠道模型助攻、实时人群溢价。
三种不同的深层优化模式分别用于解决不同客户群体的问题，其核心点在于
（1）三种模式互为补充。其区别主要在于客户的转化延迟以及数据规模，让深度效果优化可以覆盖更多类型的客户（新客/老客/数据周期长/数据周期短）。
（2）深度ocpc是我们优化客户后端转化效果的主要抓手。但部分客户转化延迟过大，平台赔付风险太高，并不适用。因此，我们提出全渠道助攻与实时人群溢价两个方法对其进行补充，让超高转化延迟的客户也有方法优化自身后端转化效果。
（3）全渠道助攻与实时人群溢价是递进的关系，全渠道助攻可以在站内数据不足时，通过站外数据进行人群拓展来优化后端效果，并能辅助冷启。当站内数据积累充足后，可以自动切换到实时人群溢价，通过流量粒度的精细分发，达成更好的后端优化效果。
技术难点
广告投放链路可以简述为以下几个阶段：曝光->点击->浅层转化（表单、激活）->深层转化（留存、授信、付费）->ROI（付费金额、授信额度）。通过技术手段优化客户ROI的方式，就是逐渐将平台的预估模型与排序目标，从出价点逐渐后移至客户的考核点。
但是，随着投放链路的不断延长，平台的优化难度也就越大，这也是为什么我们努力将优化目标延后而非直接采用cps结算的原因之一。其中，所面临的问题主要总结如下：
（1）数据稀疏：数据的极度稀疏，广告链路每增加一个层级，其数据量会相差几个数量级，一个用户付费的产生往往需要依赖大量的广告曝光。这既导致站内样本积累难度很大，难以支持训练，也导致了客户的单一转化类型数据日波动非常大，短期/少量的数据无法客观反应客户的真实成本，数据观测难度增加。
（2）深度数据超高延迟：不同客户的深度目标差异很大，如：次留、加微等目标可能延迟只有1~3天。但7日留存、付费等目标可能高达1~2周。超高的转化延迟，会使得模型样本分布出现时效性偏差以致于难以出量。
（3）新客户冷启困难：新客户的冷启动是常见问题，不同客户的浅层的转化目标之间相似性较高，更容易积累足够的数据度过冷启阶段。但深度转化目标正如上文所言积累难度过大，单纯凭借喜马站内数据，部分客户需要的时间以月为单位，这一点会给平台&客户双方都带来更多的不确定性。
（4）流量不稳定&转化类型多：该问题为广告cvr模型的通用问题，由于存在于DSP、品牌等多业务线的竞价，广告流量在不同时间节点会产生大幅波动。且转化类型较多（当前已有20余项转化目标），不同转化类型的转化率差异很大（如拉活与加微的转化率相差几十倍）。在联合建模时，既要解决排序的正确性问题，又要解决预估的精准性问题。
ocpc深度双出价
核心目标：优化广告主后端转化效果，并承诺后端转化成本
常说，广告媒体应该打造激励兼容的竞价生态，让媒体与客户共赢。但是，竞价广告之间的博弈，不仅仅局限于媒体与客户，也存在于客户与客户，媒体与媒体。
当一个客户拥有了更好的后端效果优化手段，其出价上限提高，就能打破原有平衡赢得更多流量。同时，任何一个广告主都会在众多媒体上投放广告，而他们的预算却是有限的。广告媒体之间为了争夺客户预算，也在不断优化自身产品与流量分发效率。谁能为广告主带来更高的ROI，那么不仅仅能让客户有动力提高广告单价，更能分走其更多的广告预算。
效果卷起来，瓶颈就打破了
（1）业务痛点
平台收入提升陷入瓶颈：每当希望客户提价，总会被回复“我现在已经贴着成本跑了，想提价除非ROI能高一些”；希望客户加预算，总会被回复“别人家ROI更好，预算只能给这些，除非你们的ROI可以高一些”。
同一转化目标经过长期投放，客户出价已经相对稳定，出价已经接近自身能接受的ROI瓶颈。没有更高的ROI天花板，就没有更高的出价天花板（按转化出价，则ctcvr的优化不能刺激出价）
流量竞价不充分：客户都用优质人群包投放，高ROI的流量可能会被多个客户抢夺，但非最优的流量会因为缺少竞争而导致贬值。
广告主要为自身利益负责，必然希望ROI提升。若平台无法提供支持，会倒逼客户自己去用“人群包”“定向”的方式来优化，而该方式会让平台的竞价不充分。客户自身通过人群定向的验证周期长，刻画粒度不精细，我们应该坚信一点“没有无用的流量，只有不合适的价钱”。
客户体验差：客户直接用ocpc投深度目标，流量起不来，成本忽高忽低。努力做了很多，效果却不尽如人意。
深度目标虽然更贴近客户ROI，理论上优化效果应该更好。但是，深度目标数据更加稀疏，因缺少数据模型收敛更加困难。此外，深度目标带来的高转化延迟，使得原有ocpc的建模样本、pcoc校准、成本控制系统都没有感知，最终使得量起不来成本也没控住，“起个大早赶个晚集”。
如何了解用户：为广告主优化后端效果的前提，是双方需要对接后端数据。渐渐的，我们就知道了一个用户在哪里付过费，关注了哪个公众号，在哪个APP中长期留存。
内容推荐、营销策略都离不开对用户的理解。要理解用户的兴趣，最好的方式是能拿到他的各种行为。每一家媒体都有自己独家的行为数据，但不会无缘无故给到他人。合抱之木生于毫末，为广告主优化后端效果的过程，也在让平台“更懂用户”。
（2）如何解决这些痛点
缺少数据是一个很难有完美解法的问题，第一步的迈出永远是最困难的。但是，只要有了数据的积累就会一步快，步步快。这个过程的核心原则是不能让客户去频繁的承担“试错成本”。
深度cvr优化：广告主自己频繁的使用定向来优化自身后端效果，对平台竞价生态会造成很恶劣的影响，但这也说明了客户有强烈的后端优化诉求。那么与其让客户“盲人摸象”似的摸索，不如平台直接介入，通过深度模型进行最精细的优化。
用双出价代替单出价：后端数据的原始积累是效果优化的必要条件之一，这也是为何直接投放深度目标效果往往不尽人意的原因，毕竟不是所有客户都愿意陪平台坚持到“春暖花开”。那么通过设置深浅两个出价的模式，用浅层出价进行流量冷启“保证效果不比现在差”，随着数据的积累自动过度到深度目标优化。即便积累数据需要时间，客户也不存在后顾之忧，磨刀不误砍柴工。
最终，我们希望达成的效果是客户的目标人群从浅层慢慢后移只深层实现ROI的提升，利润空间提高了，预算与出价的天花板也就提高了，原本“稳态”的竞价平衡就会被先试用ocpc深度双出价的客户所打破，让客户自发要求回传后端数据，优化自身效果。从客户解决用户痛点为源头，解决用户痛点就自然解决了平台痛点。
（3）技术思路
转化延迟数据纠偏：模型的样本、校准、计费控制都需要依赖稳定、置信度高的数据。因此置信区间的定义很关键，用以确保各功能模块的数据分布能够反映真实、长期的数据表现，不被短期数据波动带偏。
深度转化目标建模：合并深浅cvr模型、合并多个业务线
深浅转化目标在数据量、数据分布上都有着较大的差异。通过多目标的方式可以让ctr、浅层cvr的样本辅助embedding学习，又可以对深度数据做到最有效的隔离保障最终预估的pcoc。
深浅权重迁移
深浅ecpm的权重，设计的初衷是为了在深度数据不足时用浅层ecpm辅助排序。当深度数据积累足够后，应该逐渐提升深度权重，让深度ecpm发挥更大的作用。
（4）客户案例
全渠道数据助攻
核心目标：转化延迟过大时，优化客户后端转化效果 & 借助站外数据，解决站内冷启问题
ocpc深度双出价上线后，虽然让部分客户的ROI得到了提升，但客户的覆盖率达到一定程度后就很难再提高了。如果后端优化的方案，只能应用到部分客户而不能覆盖到较多的客户，那我们的竞价环境其实没有真正做到“卷起来”。
经过我们的调研分析，部分客户高达一两周的后端转化延迟与平台的赔付逻辑相差甚大，进而又陷入了成本不可控、拿量不稳定的怪圈。又因为站内后端数据的积累，需要有一个较长的过程，很多新客、小客短时间内根本积累不够。
（1）业务痛点
数据孤岛：跨媒体投放是当前广告主的普遍行为，跨媒体投放所形成的转化信息孤岛不利于广告主充分利用数据优化投放。而联合利用站内外的后端转化数据，不仅能够提供冷启数据，还能对人群的后端行为&兴趣进行有效刻画。
冷启周期过久：ocpc深度双出价虽然解决了冷启过程中，广告主频繁承担试错成本的问题，但扔解决不了“没数据”的问题。高达数周，甚至上月的等待，可能过程中客户就流失了。
回传延迟大到无法投放ocpc深度双出价：平台的赔付规则，要考虑风险成本。轻易保障如此高延迟的转化，有成本无法回收的风险。对于同样参竞的DSP、品牌流量也不公平
ocpc深度双出价是会为客户保证后端成本的，如果达不到平台会对超出一定额度的部分进行赔付。但有些类型的客户，后端数据需要两周才能开始回回传（如真正购买物品，可能需要在看到广告后的1~2周）。不同客户、转化类型的数据回传窗口不一，众口难调。
客户数据回传能力有差异：前端数据往往直接通过程序化对接，部分目标可以直接在落地页中埋点收集。而部分客户的后端数据往往需要销售人员长期跟进，这些过于后端的指标部分客户可能本身就缺乏程序化回传能力。
（2）如何解决这些痛点
外部数据引入：一个刚开始投放广告的客户，必然没有站内行为数据。如果一直等待站内数据的积累，可能会很久。此时，如果能够利用客户的站外产生的后端行为数据，就可以有利于模型快速收敛找到最适合该客户的人群，缩短冷启时间。
人群召回：外部数据没有站内完整的展点转行为，难以直接加入转化率模型进行优化。但是，站外的后端转化用户，是实实在在有“后端转化需求”的用户。只是，可能还没从本平台看到广告 or 同时看到了多家媒体的广告，存在有归因差异。那么，以lookalike的思想来说，我们有了一批高优的种子用户，就可以构建召回模型来进行人群拓展，为其找到与这批种子用户相关的高潜用户。
多种回传方式：数据回传可以通过程序化api对接，也可以定期进行文件上传。多种方式能够覆盖更多客户。
（3）技术思路
模型构造：
模型助攻会要求客户对回传数据明确标识行为类型（付费、加微、有效咨询等）。可以在建模时对行为类型单独刻画，相比通用的global embedding能够更加精准。
特征选取：模型助攻会绑定客户，在原有的device/user画像外，可以增加广告相关ID、客户分类、行为类型等AD组画像与特征。
样本选取：在通用的随机负采样基础上，助攻样本按对应客户历史投放记录，增加hard样本，增加模型对“前端好/后端差”用户的判断能力。
策略设计：
召回时，按“公司资质+sku+优化目标”维度进行分别召回。召回分数代表了对应维度下，用户的兴趣偏好。分高者代表高后端转化倾向，分低者代表低后端转化倾向
人群规模：任何一个维度下，用户都可以获得一个打分并出现排序。但召回分的分布会有变化，基于其分布不同可以选取不同规模的人群。以累计召回率计算高转化与低转化人群的规模。
溢价分数：按召回分数降序排序，计算定长分桶下的召回率。召回率越高，溢价分数越高，反之溢价分数越低。
（4）适用客户举例
实时人群溢价
核心目标：转化延迟过大时，优化客户后端转化效果，将优化的能力做到更极致。
全渠道助攻，虽然能够为转化延迟过大广告主优化ROI，并能利用站外数据快速度过冷启。但当这个冷启时期度过之后，该客户在站内的数据积累已经足够充分时，依然使用“人群召回”的优化模式就比较低效了。我们可以有更高效的优化方式，在流量粒度优化喜马站内的后端转化率。
（1）业务痛点
全渠道助攻这种人群召回的方式，虽然利用了站外数据，但从站内的优化效果而言，效率是比较低的。因为：
站外的付费用户，虽然是有付费意愿的用户，但并不代表该用户愿意“在本平台付费”。实际上，用户对于同一商品的购买意愿，在不同平台是不一样的，这与平台生态 、广告交互、营销活动都是息息相关的。
对于人群召回的建模忽略了资源位、广告样式、广告落地页、上下文（实时行为序列、时间...）等重要特征。其价值按人来划分，做不到按流量（人*物料*上下文）来划分。
（2）如何解决这些痛点
实时人群溢价建模：对于转化延迟过大的客户，其样本的回收周期与其他客户差异过大，需要单独建模。
合理溢价：客户此时不会指定后端价格，平台也不需要承诺后端成本。因此，模型预估值不能直接乘在排序中，而是要以提升客户ROI为目标来做映射。
无缝切换：实时人群溢价，是全渠道助攻的升级版，共用一份回传数据。对于转化延迟过大的客户，可以先用全渠道助攻冷启，待站内有足够数据积累后直接切换至时实人群溢价。
（3）建模思路
模型设计：
类ESMM多目标模型结构，CTR任务辅助CVR学习
转化延迟与其余类型差异过大，需要单独建模
策略设计：
从贪心的角度思考，如果我们希望一条流量的ROI更高，就应该先要能够识别出什么是高ROI流量什么是低ROI流量，并且流量的ROI越高需要让客户更容易获得。
如何区分高ROI流量与低ROI流量？
ocpc视角下，单次点击扣费bid=pcvr*出价。因此，深度转化率要别转化率更具优势，才能让广告主的ROI高于其历史均值，即深度pcvr的增幅要高于pcvr的增幅。
如果提高广告主的ROI?
一种方式是，直接减少低ROI流量的曝光，这样自然会让客户的ROI变高。但是，此方式会导致客户消耗、曝光变少。
一种更好的方式是，给予流量一个ecpm权重，该权重需要小于其期望ROI。此时，高ROI流量更多，低ROI流量更少，通过设计合理的权重公式可以实现客户ROI增加，且拿量/消耗的平稳。
（4）适用客户举例
未来发展
关于广告深层投放效果优化我们做了许多了尝试，也因此为许多客户带来了后端转化率、ROI的提升。但仍有许多需求攻克的方向：
转化延迟&CVR联合建模：转化延迟当前基于既定维度进行统计，进而对数据样本进行修正。而直接将延迟行为纳入cvr建模中，通过训练重要性权重来纠正样本偏差。
降低使用门槛：广告后端效果优化工作开始之初数据量较少，为了保证更好的客户效果会设置较严格的数据要求。但随着数据的丰富，模型泛化性的增强，对客户的数据要求应该逐渐降低，让更多客户能够使用、方便使用。
ROI优化：当前，我们对于后端效果的优化仍然处于“不断延长后端链路”的方式，还没有真正做到ROI优化。未来，我们希望做到直接进行ROI优化（在深度转化率基础上增加对GMV的优化），甚至做到保ROI投放。