AI+AB：智能时代的企业创新加速引擎

1. AI+AB：智能时代的企业创新加速引擎演讲人：韩云飞字节跳动 / A/B测试技术负责人

2. 传统 A/B 测试是什么 01 目录字节跳动 A/B 平台的进化路径 02 大模型时代的探索和思考 03 总结与展望

3. 传统 A/B 测试是什么

4. A/B 测试是什么？快速敏捷迭代并精准决策，实现复利效应，持续循环增长用户价值驱动科学决策科学决策精细化运营精细化运营以用户价值为核心，敏捷测以数据为核心，AB测试将企运营从粗放式管理突破，通提升增长营销提升营销效果效果I 以数据价值为导向，通过持试产品和服务改动效果，不业决策从经验和直觉中解过严谨的个性化实验设计，续、精准的AB测试，构建断挖掘创新方向，构建面向放。通过严谨的实验设计，构建细致用户画像策略，持营销的闭环学习与迭代机用户的持续进化机制构建"假设-验证-优化"的闭续提升运营效率。制，实现增长营销的可持续用户价值驱动环机制，降低决策不确定优化和创新。性。 pag e A 什么是A/B实验？对照版本 1 8% 同质用户随机分组控制变量 pag e B 实验版本 22% 对比结果转化提升

5. A /B 测试的本质：「降噪纠偏」增强人的判断力 “我们对世界的理解，取决于我们编造故事来解释我们所观察到的事件的能力。并且，我们几乎总是能成功地找到原因，因为我们可以从无数的事实和信念中搜寻原因。如果找不到一个显而易见的原因，我们会在第一时间创造一个解释，以便将我们构建的世界模型中的空白填补上” ——《N O IS E 》

6. 字节跳动 A/B 平台的进化路径

7. A/B Testing@Bytedance 助力企业科学决策的A/B测试与智能优化平台科学可信的A/B测试与智能优化平台，基于稳定可靠的分流能力、科学完善的统计引擎、智能的调优算法，为业务增长、用户转化、产品迭代、策略优化、运营提效等各个环节提供科学的决策依据，让业务真正做到数据驱动。 340万+ 实验总量 4000+ 日增新实验 7万+ 数百同时运行实验服务业务线注：以上数据口径更新至2024. 1 2

8. 面向业务的实验平台：超大规模复杂场景实验基础设施实验规模实验类型大规模 ( 并行 7W+) 、复杂的实验，具有高并发性 ( 亿级 QPS) 。提供多种实验类型以适应不同业务场景。计算资源利用海量计算资源实现高查询吞吐量。 SLA保障统计方法采用先进的统计方法进行准确分析。确保高 SLA 的指标管理和建设。定制选项分析引擎根据各种标准提供个性化定制。具有灵活高效的分析引擎。

9. 传统 A/B 测试的“天花板”

10. 我们的解法：AI增强的实验平台

11. AI增强的实验平台：流量智能调优

12. AI增强的实验平台：流量智能调优【实验案例】动态文案赛马实验 B D C A 【原理优势】多臂老虎机智能调优四组文案赛马，流量倾斜给表现原理概多臂老虎机智能调优通过不断地探索不同的选项（臂），并根据每个好的组，B组表现最好，A惨遭淘述：选项的反馈（奖励）来调整选择的概率，逐渐倾向于选择表现更好的汰点击转化率（相比于均分实验） +9.2 % 选项，从而实现智能调优。应用场落地页动态优选 MVT多变量组合智能优选广告投放策略自动优选运营推送文案赛马景：使用优势： 0 时间成本，及时拿收益； 0 分析成本，智能化决策‘ 0 误判成本，最大化收益； 0 人工介入，释放人力。

13. AI增强的实验平台：多元回归CUPED 实验扩量场景下方差缩减效果对比

14. AI增强的实验平台：异质敏感人群洞察【问题场景】我想把钱花到哪些对活动特别敏感的用户身上！以「优惠券发放」为例，在预算和ROI的约束下，常常会问： · 哪些人群是发放优惠券实际带来的转化？ · 哪些人群不需要投入成本就可以自然转化？一键获取敏感人群包【解决方案】AI洞察营销敏感人群，针对性施加策略分析发券干预/ 不发券干预用户对目标指标的收益评估，找到敏感人群基于实验智能化分析提供业务可解释性

15. AI增强的实验平台：自动参数搜索

16. AI增强的实验平台：迁移应用到Spark SQL参数优化 Rover: An Online Spark SQL Tuning Service via Generalized Transfer Learning 比专家经验优化效果好5%！

17. 大模型时代的探索和思考

18. A/B 测试实操落地的"三座大山"

19. ABot：一站式实验咨询+设计+诊断+分析智能体

20. ABot：服务架构及设计范式

21. 智能实验咨询+诊断

22. 智能实验设计实验方案设计轻松发散设计思路、学习实验原理 AB智能助手可以提供实验设计思路。内置分行业增长知识。同时AB智能助手可以整合客户的文档库,结合客户自己的知识体系为实验创建、分析、解答提供思路。以上为虚拟数据，并非业务真实效果

23. 智能数据归因 AI数据归因指标异动归因、指标纬度下钻通过大模型结合实验报告数据以及底层计算引擎，通过对话的方式汇总总结实验报告的数据，并给出决策判断的参考建议；对数据维度进行总结和归因。以上为虚拟数据，并非业务真实效果

24. 智能实验报告以上为虚拟数据，并非业务真实效果

25. 大模型的下半场：评估驱动的产品创新循环

26. 大模型的下半场：评估驱动的产品创新循环对大模型应用线上评分，效果分析 Context Relevance Context Recall Context Precision 上下文关联度上下文召回率上下文准确度问题自动生成模型线上报告支持ChatBot、Agent、RAG 等内置分析指标 Answer Relevance 回答关联度 faithfulness 回答真实性回答 Answer Correctness Answer Similarity 答案正确性答案相似度支持指标下钻争议性 Controversy 标准答案关联上下文 Context Precision 上下文精度有害性 Harmfulness 恶意性歧视性以上为虚拟数据，并非业务真实效果 Malice Discriminatory

27. 总结与展望

28. 未来展望：A/B测试的发展方向预测

29. TakeAway AI+AB 正在重塑企业的决策范式，从验证工具升级为创新加速引擎

30.

31. THANKS 探索 AI 应用边界 Explore the limits of AI applications 欢迎交流