因果推断量化评估事件对业务的影响效果

Serena Tang

流利说技术   数据分析师

1. 背景

2. 效果量化评估方法

准实验研究与随机对照试验的区别在于随机分配，准实验研究在无需随机安排被试时，运用原始群体，在较为自然的情况下进行实验处理的研究方法。准实验研究牺牲部分结果精度，但实验实施成本更低，降低控制水平，增强现实性，使实验结果易于推广。

统计相关性并不意味着因果关系，甚至因果关系也无法直接倒推相关性成立，所以想找到真正影响到业务的因素并不容易。通用的 A/B Test 也有一定的局限性：

• 需要占用足量的随机流量，并且需要持续一段时间以收集数据；

• 产品流量较小时，需要花一定的时间实现，比较耗费人力；

• 付费用户群体无法进行部分 A/B 测试，易引起运营混乱。

鉴于 A/BTest 种种局限性，如何利用手边已有的历史数据进行 “因果推断”分析。

不少数据分析的工作都围绕这个问题，举一些例子：

• 新内容的用户留存更高，他们的高留存是因为这个新内容导致的吗，这个内容究竟对留存的提升有多大效果？

• 上周投放了某广告的用户登录率更高，他们的高登录率有多大程度是由广告带来的，有多大程度是由于他们本身就是高潜力用户?

为了回答上面的问题，这里汇总了目前解决各个分析场景的方法论框架。

3. 因果推断方法和适用场景

下图汇总了目前解决各个分析场景的方法论框架：

这里介绍几种方法的适用场景，双重差分分析方法，推断在进行干预前后实验组与对照组之间的结果差异。方法的典型用例是在特定城市推广营销活动或新产品功能。比较推广城市和未推广城市在同一时间段上的结果差距，那么这个差距值即为该事件的真实效果。

另一种非常典型的因果推断方法，称为断点回归方法，该方法将一连续值进行分段，查看在断点处是否有结果变量上的差异。例如研究定价的不同水平如何影响用户购买决策。

再比如合成控制法和贝叶斯结构时间序列方法，原理在于干预事件发生前后结果变量时间序列数据是否有显著变化，这种方法称为中断时间序列设计。这种方法通常用在产品复盘时指标分析。

近年来，因果推断已成为机器学习领域的活跃研究领域。因果推断使机器学习更有业务解释性，机器学习使因果推断在业务上更适用和推广，未来有更多的应用场景值得去挖掘。

注：图中数据均属于虚构。