如何评估某活动带来的大盘增量 ｜ 得物技术

2.1 明确原因是什么

2.2 明确结果是什么

2.3 确认3个要点

• 是否纯属巧合？不好评价，从趋势上来看，该活动上线之后大盘支付人数确实同期在提高；但正值大促，即使不做活动大盘交易大概率也会增长。

• 是否存在同时影响原因和结果的第三变量？一个参与了活动的用户，比起没有参加活动的用户，本身活跃度或成熟度更高，而平台活跃和交易成熟对是否产生购买是很关键的因素。所以，存在第三变量。
• 是否存在逆向因果关系？到底是活动刺激使更多用户下单？还是高概率下单的用户更有意愿参与这项活动？

2.4 制造反事实

2.5 调整到可比较状态

• 随机对照试验，即通常所说的AB测试。假设大促期间采用了ab实验，活动上线时将大盘所有用户随机分成的两组，一组能够参加活动（干预组），另一组不能参加活动（对照组），然后通过观察两组用户在大促期间的交易表现，对比得出最后的结论。
• 双重差分法，适用于没有做实际随机对照的场景，例如大促期间全量上线了该活动。第三部分会重点介绍该方法的使用。

3.1 基本思想

• 始终不开通参与的用户 VS 有开通/参与的用户的场域效应相同，即目标指标的趋势平行；
• 受到干预期间，没有出现影响目标值的“其他变化”。

3.2 计算逻辑

3.3 具体步骤

3.3.1 分组

• 实验组：受到营销活动的干预影响，根据影响程度又可以分为「平销已开通」影响复购动支，「平销未开通->大促新开通」 影响开通和动支。
• 对照组：没有受到同一活动的干预影响，表现为用户「始终未开通」。

3.3.2 目标选定

3.3.3 验证分组合理性

• 10.10日新开通用户、10.11-11.10期间中途新开通用户在临近10.10日阶段与波动较大，与其他分组差异较大，不作为后续分析可用分组。
• 始终未开通、始终开通、双11当天新开通三个分组的用户，在10.10-11.10期间变化趋势一致、差异基本保持稳定。可作为后续分析可用分组。

3.3.4 差分

• 第1次差分：分别对在干预前后进行两次差分（相减）得到两组差值，代表实验组与对照组在干预前后分别的相对关系；
• 第2次差分：对两组差值进行第二次差分，从而消除实验组与对照组原生的差异，最终得到干预带来的净效应。

3.3.5 方法小结

• 优点：较为客观的去除场域影响，剥离出由营销活动干预下带来的大盘增量。能基本解决“大促期做的营销活动对于大盘的影响”。
• 不足：