导语｜微信是内渠分发的重要渠道，增长中心与微信深度合作，通过成熟游戏节点活动等多种方式提升IEG游戏在微信的分发效率，增长数据组围绕内渠提效增长沉淀了一套分析SOP，方便快速定位投放中出现的问题，接下来为大家分享下，我们的内渠提效增长SOP建设遇到的问题和我们的拆解方法。本文作者：harrylhcao，腾讯IEG数据科学家一、业务背景
其产品形态如下图所示，主要分发资源位有公众号、小程序、视频号游戏中心等，其中“微信游戏”公众号和发现页游戏红点+中心内广告是通过虚拟金分配机制进行分发的内渠广告位资源。数据分析链路为出包→推送→游戏红点/公众号消息曝光→点击→下载→注册。二、整体分析框架和关注指标
微信投放流程是算法出完A游戏用户包后，微信侧基于用户活跃等数据对用户进行过滤，然后和其他游戏人群包进行竞价，竞价成功后，会在微信公众号和红点位置定向推送游戏消息，吸引用户点击和下载。整个投放的北极星指标为曝光下载注册率（EVR），围绕北极星指标，我们可以把投放漏斗分为模型效果和渠道表现两个部分，模型效果主要是指的用户圈定过程，渠道表现主要是用户圈定完成后在渠道侧的效果数据。通过过程拆解，投放漏斗的每一个步骤都有明确的检验目标和关注的指标，从而可以对北极星指标的异动准确归因。首先我们会通过一系列的策略，筛选出排序候选集，候选集是一个较大的用户包，后续精排算法会在这个用户区间内进行排序，找到更有可能注册的用户，所以目标用户的候选集覆盖度是第一个核心指标，通过评估候选集注册用户占同期微信关系链注册的比例，我们可以知道候选集是否充足，比如，某档期注册用户100人，候选集中的注册用户只有50人，那无论后续怎么排序，最终出包的注册都不会超过50人。
在模型圈定用户阶段，我们主要关注的是模型效果，即模型是否能筛选出高潜注册用户，由于出包有量级限制，需要尽量提高最终用户圈定的准确率，即模型头部500万的召回率。
在把用户包配置到微信后，经过微信的过滤和竞价，会改变原始模型分层的分布情况。由于这一步目前偏黑盒，我们只能通过对比出包注册率和曝光注册率评估微信过滤对注册的影响。
微信给目标用户推送广告后，广告位文案和素材的质量会直接影响曝光点击率。
如果用户对该游戏感兴趣，继续点击下载，这一步会因为部分厂商的拦截导致渠道包被更换，我们可以通过渠道占比和关系链占比评估这一步的损失。
最终到注册环节，可以比对用户下载情况，分析除了正常漏斗下来的用户外，有注册无下载，以及有点击下载但没有最终染色的用户情况，辅助我们了解用户转化链路的多样性。
通过用户分层，我们可以检查模型对头部用户圈定是否准确，怎么进一步评估具体是哪个分层用户变动导致的最终点击率下降呢？我们定义分层贡献度指标，来描述和辅助定位分层变化对整体指标的影响。不同分层用户注册转化潜力不同，对比两次投放，但由于微信黑盒过滤，实际曝光的用户分层量级分布由原始用户圈定时的均匀分布变成不均匀分布，且两次投放中不同分层的实际曝光量变化情况不同，不同的分层的实际曝光量和点击率都有差异。分层曝光量变化受过滤影响，点击率受到素材影响，两个之间互相独立。
分层点击率贡献度指标可以描述素材的影响，假设曝光量不变，评估不同分层点击率变化对整体的影响。对每个分层计算当次点击率和上次点击率的差值，假设曝光量不变，用该层当次曝光占当次总曝光比例做权重计算点击率贡献度。
分层曝光量贡献度指标主要用于描述因为黑盒过滤导致曝光分布变化，进而对整体点击率的影响。对每个分层计算当次曝光和上次曝光量的差值占当次总曝光量的比例，作为分层流量变化比例，假设点击率不变，用该层当次点击率和当次总点击率差值做权重计算曝光量贡献度。
结合两次投放，可以计算出点击率变化和流量变化带来的分层总贡献，当次点击率相比上次投放点击率有所下降，其中分层1和分层17的分层贡献比例大，是导致点击率下降的主要因素；观察流量变化可以发现，头部分层1（模型认为转化概率高的高点击率用户）实际曝光量下降明显，尾部分层17（模型认为转化概率低的低点击率用户）实际曝光量上升，在总体曝光量变化不大的情况下，由于分层曝光量变化，导致总体点击率下降。
三、分析case
接下来，我们用上面的SOP流程分析一个实际投放的案例，这个case的背景是某游戏的虚拟金投放中指标的波动，观察到3月投放的曝光注册率大幅下降的趋势，而4月的EVR有显著的提升，需要分析EVR波动原因。该游戏3-4月的EVR变化趋势和曝光量级（数据安全考虑隐去坐标轴数值）：根据上述的漏斗逐层往下分析，对北极星指标的波动归因。首先在出包之前，我们会先看一下候选集对注册人群的覆盖能力有没有显著变化。这里我们主要关注的指标是候选集对注册用户的召回率，这个指标代表了我们的模型能从中选出的注册人数的上限，正常情况下，如果没有对候选集做出大的调整，候选集覆盖的注册人数比例应该是相对稳定的。如果候选集召回率显著下降，那么在整个出包流程开始之前，我们就可以预期到这次投放效果会有一定幅度的下降，因为我们能触及的注册人数上限变低了。这时候我们就需要去看什么原因导致了候选集的变化，例如是因为前面的用户活跃度过滤策略过滤掉了太多用户，还是说场景点击过滤策略筛掉了过多用户，又或是什么其他原因，并做出相应调整。上图为该游戏候选集召回率的变化趋势，可以看出，候选集的召回率和EVR有基本相同的变化趋势，大致拐点基本相同，在3.7到4.4之间候选集覆盖的注册人数比例大幅度提升，以曝光点击活跃候选集来看，从3.7的24.7%上升到了4.4的45.8%，有将近两倍的提升，同期的EVR也从0.005%上升至0.191%，反观4.25期候选集召回率有很大的下降，EVR也相应远低于4月其他档期。这说明，模型出包的候选集中覆盖的人数在3月初有大幅的下跌，导致模型能选出的注册人数的上限减少，从而影响到曝光注册率，而之后候选集覆盖的微信关系链注册人数逐渐回升，到4月初差不多回升至2月底的水平，模型能选的转化人数上限提升了，那么在模型能力稳定的情况下，就能选出更多的高潜转化用户，提升总体EVR。在确定候选集对EVR的影响之后，下一步我们需要评估模型的能力是否稳定。在这里选取的指标是候选集准确率和头部用户的注册率，分别代表了候选集覆盖的注册人数和出包的头部500w用户覆盖的注册人数多少，在候选集总人数不发生太大变化的情况下，通过对比这两个指标的变化趋势，我们可以确定模型的表现是否符合预期。假如模型能力比较稳定，那么候选集中的注册人数和模型从中选出的注册人数应该等比上升或下降，也就是候选集的注册率和模型头部用户的注册率会有相同的上升/下降趋势，假如候选集的注册率在上升，而模型选头部用户的注册率反而大幅下降，那说明模型表现的异常差，需要去看这期的模型出了什么问题。下面我们对比了该游戏候选集准确率和出包头部500w注册率，可以看到，大多数档期两者有基本相同的升降趋势，出包头部500w用户注册率低的时候，同期的候选集准确率也基本同样比例降低，说明3月份头部500w中注册人数变少是由于候选集中的总注册人数变少了。除此之外，可以观察到，从3.11到4.7的几次投放，头部500w用户的注册率有一个大幅的提升，远比候选集这段时间的提升要大，说明候选集中注册人数增加不多的情况下，模型筛选出了比前几期两倍以上的注册用户，可见这几期的模型能力提升也是EVR提升的主要原因之一。除了对比候选集准确率和头部用户的注册率，我们还通过头部用户的召回率来评估模型的表现，这一指标代表了模型选出的头部用户能覆盖总注册人数的多少比例。如果模型预测能力强，那么选出的优质用户应该能代表高潜注册用户，出包头部用户应该能覆盖大多数的注册用户，如果排在尾部的用户反而比头部用户包含了更多的注册用户，那说明模型预测出的概率可能有偏差。下面是该游戏在这两个月的头部500w用户召回率，可以看到，从3.7到4.4号的投放，头部用户召回率从13.3%到88.6%，提升了75.3%，幅度也远超候选集的变化幅度，同样验证了模型能力的提升，说明3月底开始模型选出的优质用户覆盖了更高比例的注册用户。从第一部分候选集和模型效果可以得出，3-4月候选集和模型的变化是导致该游戏虚拟金投放EVR有较大波动的两个主要原因，接下来我们会关注实际投放过程中，漏斗后续链路的渠道表现是否有其他导致EVR变化趋势的因素。在出包之后，到推送广告素材给用户的过程中，由于用户竞价或业务方过滤等原因，会有一定比例的损失，无法全部曝光。如果某次投放大部分用户，尤其是头部的优质用户没有充分曝光而尾部转化较差的用户曝光比例较高，那么投放的效果是可以预料的会变差的。然而这个结果也不是绝对的，如果投放的头部用户只有少部分曝光，但这部分曝光已经覆盖了大部分的用户，那么转化效果也可能较好。因此，在看用户的点击下载注册行为之前，我们需要监控出包的用户实际推给用户的比例。下图我们是对比两期（3.31和4.4）出包量级相同，候选集准召也相对接近的投放，对比出包曝光率。可以看到这两次投放的头部出包曝光率都不高，在10%-30%之间，3.31期的出包曝光率反而更高一些，因此头部优质用户曝光不足导致的不是导致3.31投放EVR对比4.4较低的主要原因。为了更好的解释头部用户曝光差异导致的EVR差异，下面放了另一游戏两期投放的出包曝光率对比。该游戏3.3日投放的EVR远高于4.8的EVR，从下图出包曝光率可以明显看出，该游戏3.3投放的头部用户曝光比例远高于4.8日，且曝光用户集中在头部，相反4.8投放的曝光用户集中在尾部，显著高于3.3投放的尾部曝光，在该游戏这两次的投放中，出包曝光率差异是导致转化效果好坏的主要因素之一。在将文案素材推送给用户之后，我们就要关注用户的渠道表现了。推送之后的下一环节是点击，我们需要监控投放的整体点击率是否有大的变化，如果有，是什么导致点击率波动的，是由于文案和素材质量不佳导致用户没有点击意愿，还是投放的用户质量不高，对该游戏的广告不感兴趣，又或是尾部用户曝光量级太大，导致会点击的人数差不多的情况下，总曝光量级增大，降低了整体点击率？对于后两点，我们设计了分层点击率贡献度的指标，用来评估每100w用户的点击率和曝光量级对整体点击率的影响程度。上图是该游戏投放的点击率，观察到3月份投放在点击链路上的流失远多于4月份，4月份投放的点击率要显著高于3月份，4.4的点击率将近3.31的3倍。以3.31日作为实验组，4.4日作为对照组，计算点击率贡献度，下图可以看出点击率的差异主要有两部分原因导致：一是两次投放头部100w用户的点击率差异较大（左边红框可以看出，头部100w的点击率差异对3.31点击率低于4.4这一结果有20%的贡献度），这是由于两次投放头部用户质量有差异，4.4投放的头部500w用户中注册用户是3.31的2倍有余；二是3.31期尾部曝光用户远高于4.4期，这个从上面出包曝光率图中可以看出，大量曝光的尾部用户拉低了整体点击率（右边红框可以看出，尾部曝光量级的贡献度较高，说明3.31投放尾部低于平均点击率的用户过多，拉低了整体点击率）。在用户有点击行为后，就到了链路上的下载以及注册环节。这里有两方面，一个是用户下载之后是否有注册行为，另一个是注册的用户是否是在我们渠道/场景下载的。从第一个角度，用户下载之后为什么不注册，是比较难分析的，因为我们认为下载的用户大多数都是有该游戏的偏好的，但是下载之后又不注册游戏，也许是注册流程繁琐，或者内存不够等原因，但是这些我们都比较难进行干预，所以我们在这个环节主要关注在分析注册的用户有没有在我们渠道场景有下载行为。这部分用户是出包投放的用户中会转化的，但是在下载链路没有归属到我们渠道，若出现较高比例注册用户都没有我们渠道的下载，又是什么原因导致的。在这里，我们关注的指标是注册但没有下载的用户比例。从下图可以看到，转化较好的4.4，4.7，4.14期，注册用户中仅有10%左右的用户没有我们渠道的下载行为（无法对EVR提升有贡献），而3月份以及4.25转化较差的几次投放，注册用户中没有下载的比例在15%-20%左右，说明更多高潜注册用户在下载链路流失也是3月份投放转化较差的原因之一。假如出现了上面的情况，较高比例的注册用户没有归属到我们渠道下载，我们就需要分析产生这种情况的原因。这时候有可能有两种情况，一是这部分用户去了非微信渠道或是外发渠道下载（不在微信，qq，应用宝等渠道），另一种是在微信渠道下载，但是没有在我们的场景下载（公众号、红点），我们在SOP的流程中也会分别对这两种情况进行监控。对于第一种情况，我们监控的指标是，对无下载的注册用户中微信渠道的占比，看这部分有注册无下载的用户有多少是在微信渠道下载的，有多少去了内渠其他渠道下载，又或是被外发渠道抢占了。对于第二种情况，我们会关注微信渠道注册的用户中无下载的比例，这个指标可以看出微信渠道注册的用户，有多少是在我们场景下载，多少去了微信渠道的其他场景下载。我们选上图注册无下载用户比例最高的3.11和4.25期为例，可以很清晰的看出上述两种情况的区别：通过SOP框架对该游戏3-4月投放EVR异动进行归因，能得出几点主要的结论： 3月底调整了出包的候选集，模型也有较大改变，导致：（1）4月候选集召回率提升，覆盖的注册人数显著多于3月；（2）头部用户准召率大幅提升，模型能力提升，选出的头部用户带来更多注册；（3）3月投放点击率远远低于4月，一是两次投放头部用户质量有差异，导致头部的点击率差异较大，二是3.31期尾部曝光用户远高于4.4期，大量曝光的尾部用户拉低了整体点击率；（4）3月份以及4.25的投放，更高比例的高潜注册用户在下载链路流失，3.11期是由于更多用户在下载链路被外发渠道抢占，而4.25期是因为更高比例的注册用户没有公众号和红点的场景偏好。
四、写在最后
V1.0版增长SOP重点关注出包后投放，目的是复盘单次投放效果，并对异常问题进行快速定位，是发现出问题的某次具体投放后，进行的下钻分析。如何从大盘数据波动中，找到出问题的游戏以及对应找到该次投放，是我们接下来需要重点解决的问题。接下来我们还会更加关注游戏投放链路，在算法出包后投放前，插入一个检察出包健康度的机制，发现一些常见问题。方便根据检查结果，适时做一些尾部用户的替换，提高出包的转化效率，即投前分析SOP，和投后分析一起，不断提升投放效率。
# 腾讯技术直播 #
腾讯工程师分享技术干货：
![]()
扫码预约，get开播提醒
【技术人说】科普对谈，技术没有那么难～
GPT4开放API和Code Interpreter！
如何利用它们来提升你的工作效率
测评 PS 最新 AI 功能 在美宣上的使用
基于ChatGPT+Stable Diffusion实现AI绘画
基于GPT设计数据产品的一些思考