Beyond A/B Testing: Using Surrogacy and Region-Splits to Measure Long-Term Effects in Marketplaces

Beyond A/B Testing: Using Surrogacy and Region-Splits to Measure Long-Term Effects in Marketplaces

摘要

Lyft通过两步骤方法评估资源分配决策的长期市场效应。第一步，利用残差化回归模型分析政策变化对短期负面用户体验的影响，并通过切换实验验证；第二步，采用双重稳健观测法将负面体验转化为未来行为预测，并通过用户分割实验校准。最后，结合直接和间接效应，通过区域分割实验验证整体长期效果，优化决策。