火山引擎A/B测试平台设计思路与技术实现

图1-1火山引擎实验平台的能力图谱

• 第一个是执行组件，一个实验进行时，首先需要将准确的配置定向下发给准确的用户，也就是做好流量的配置发布。
• 第二个环节是数据建设，通俗来讲就是我们得将数据采集上来。
• 第三个是显著性计算环节，当采集完数据之后，实验组与对照组之间产生的差距是否代表新策略会带来收益，会依赖于相关统计指标的计算。

• 首先，实验平台本身就具有定向的配置发布能力。在完成一个实验之后，下一步的抉择一般就是将策略废弃或者上线，对接一个完整的配置发布平台，是一个实验必要的后向延续。
• 下一个部分，探索实验室是针对实验无法处理的评估场景，研究怎么样辅助去做一些决策。在探索实验室里面，我们往往会尝试一些非 AB 实验的东西，比如人工合成对照组，对于一些只能将用户分在实验组中的策略，我们可以通过人工合成的方式，给构建出一个对照组进行实验，比较策略的效果。在决策分析部分，我们之前提到的显著性计算，只是分析过程中的一部分。
• 除此之外，我们可能还要分析更多东西，比如策略的功效是否足够，是否需要继续提升；比如实验有没有比较严重的首因效应，用户是真正喜欢这个策略，还是因为策略看起来比较新鲜，所以大家多点击了一下。这样一些分析虽然不在显著性分析的范畴里面，但是对于实验的角色分析而言同样非常重要，是决策分析的一个部分。决策分析可以用数据和事实去说话，为业务提供决策的辅助。
• 最后一个重要的功能是智慧决策。例如，我们在一个典型的推荐场景里面，想通过调整参数来获得收益，可能需要不断尝试新一轮实验来获得比较好的参数。这种方式虽然可行，但是非常耗时。于是，我们想要通过自动调参的方式，根据每次实验所拿到的数据进行一些分析，去选择下一次的实验点位，从而大幅度提升决策的效率。

02

图2-1 业界分流的四种接入方式

• 第一是从未停止的高速迭代，我们要求对服务有比较强的控制，需要随时去更新它，去迭代它。
• 第二，多样化的接入场景、功能拼图和服务端技术栈，这些需求会导致在 SDK 这个场景下，成本会略高一些。
• 第三，我们也有苛刻的性能要求，即使是在 RPC 这样的方式下，我们也会进行大量非常强度的性能优化，以应对苛刻的性能要求。这里提一下，当前我们 RPC 的性能大约优化到了毫秒级的状态。

图2-2 灵活多变的流量复用与隔离

• 最简单的实验关系其实就两个：流量的互斥和流量的正交。由于平台侧比较难以在实验开启之前，去界定这两个实验是不是有冲突、需要互斥。如果两个实验会有一些冲突，通常来说业务方在事件设计的时候，就需要知道这两个实验是有冲突的。如果两个实验是互斥的，我们就需要将实验开在同一个实验层上；如果没有互斥，那么实验将开在不同的实验层上，以保持流量的正交。
• 除此之外，还有互斥域的概念，除了开实验和分实验层这两次基础的哈希，我们会做第三层哈希，以此形成流量层之间的强制隔离。
• 下一个话题是父子实验。一般来说两个实验之间要么互斥，要么正交，应该没有什么特殊关系。但是，有一类实验会有比较强的血缘关系。比如在进行多轮迭代时，第一轮迭代后，我们发现这个实验组确实挺好，可以对着这个实验组再开一个子实验，这个子实验也有自己的对照组和实验组，然后在这个实验组可以在原实验的基础上，我继续进行迭代。这样，两个实验之间就出现了联系，子实验的流量必须来源于父实验的某一个实验组。
• 共享对照组这个概念中提到了一个词，叫勤俭节约。有一些场景下，样本实体是用户请求，而每来一个新的请求都是一个新的样本，这个时候做两次哈希是没有太多意义的，我们可以完全让它退化至一次哈希。退化回去之后，我们可以让实验复用同一个对照组，然后让每一个实验都只有实验组。通过这样的方式，在同样的 100% 的流量下可以开启更多的实验。但是，这样的一种实验方式也是有一定的问题的，大家在使用的时候要谨慎。
• 流量轮转。有一些实验，我们不是想看这个实验的收益，而是确定它就是有害的，只是想看这个实验多有害。但是我们要老针对一群用户进行试验，这对他们的使用体验是有影响的。因此，我们会定期去更新哈希种子，让进实验组的用户定期地进行切换。这样的对用户体验上来说还不错，同时我们又可以看到策略到底有多差的影响。

• 第一个是离线计算，目的是要通过报告判断策略是否能够上线。
• 第二个是即席查询，这个部分更倾向于对实验多维度即时分析。

图3-1 数据建设的链路图

图3-2高效的数据建设

• 首先，我们要去做数据管道的建设，来保证指标建设的自动化。
• 其次，SQL 调优当指标组太多、业务线复杂的时候，不能都让人工去做，也需要自动化进行。
• 在需求管理方面，专人去对接业务方的效率太低了，自助建设的平台是不可或缺的。
• 数据管理可以保证数据服务，当我们想查询指标之间的关系时，需要通过数据服务来做灵活查询。
• 最后，打造一个开放的平台和生态系统，可以让一个试验平台的能力成指数型的增长。

图4-1 不同业务场景的假设检验方案

• 第一种是 SeedFinder 以及变体的 PreAA 校验。原理是在采样用户并且分 AB 组的时候，尽量地让 A 组和 B 组之间的误差减小。方法通过衡量两组用户之间的差异，找到差异最小的两组用户进行实际实验。
• 另一种方法是双重差分。在实验之前，两个组之间本身会存在差异，此时我们选择做一个 A 实验，不应用任何策略，这时用户的指标天然就会有一些差异。我们采用双层插空的方法，可以尽量真实地评估策略带来的收益。
• 在字节跳动这边，我们采用第三种方法 CUPED。这种方法通过一些统计方法对实验前的数据进行修正，使修正之后的结果依然可以作为实验数据的无偏估计。同时，我们可以对实验前的数据缩减方差。同样的样本量缩减方差之后，原来因为流量不够而检测不出来的收益就可能被检测出来，实验的假阳性率也可以进一步降低。

图5-1 数据驱动理念

• 第一种是 SeedFinder 以及变体的 PreAA 校验。原理是在采样用户并且分 AB 组的时候，尽量地让 A 组和 B 组之间的误差减小。方法通过衡量两组用户之间的差异，找到差异最小的两组用户进行实际实验。
• 另一种方法是双重差分。在实验之前，两个组之间本身会存在差异，此时我们选择做一个 A 实验，不应用任何策略，这时用户的指标天然就会有一些差异。我们采用双层插空的方法，可以尽量真实地评估策略带来的收益。
• 在字节跳动这边，我们采用第三种方法 CUPED。这种方法通过一些统计方法对实验前的数据进行修正，使修正之后的结果依然可以作为实验数据的无偏估计。同时，我们可以对实验前的数据缩减方差。同样的样本量缩减方差之后，原来因为流量不够而检测不出来的收益就可能被检测出来，实验的假阳性率也可以进一步降低。