火山引擎A/B测试平台设计思路与技术实现

火山引擎 A/B 测试平台设计思路与技术实现

摘要

大家思考一下，想要获得一个 A/B 实验系统，需要做些什么事情？火山引擎团队会把这些事情分成四个部分。A/B 实验需要通过人群采样，分出对照组和实验组并且下发不同的配置，让用户体会到不同的策略。因此从实践角度来看，四个部分中首先得有一个可靠的实验系统。通过这个实验系统，我们可以采集数据，从而观测用户在不同的策略下的反应。考虑到业务的迭代过程需要保持高效性，因此系统在第二步需要高效的数据建设。当采集到数据之后，我们还需要借助统计学知识，对各组的结果进行分析，以得到正确的实验结论，这第三步被称为科学的统计分析。有了以上三步，我们离一个完整的实验系统还有最后一步。我们考虑实验平台具有一定的成本，测试人员有可能会犯错误，平台运行也可能会出现异常……这些问题都需要系统通过最后一步——精细的治理和运维，来保证实验始终正常运行。