贝壳AB测试平台建设实践

1.

2. 贝壳AB测试平台建设实践 • 贝壳AB实验现状介绍 • AB实验平台架构设计 • 埋点平台介绍 • 下一步规划

3. 贝壳AB实验现状介绍 – AB实验概述通过科学的分流模型、科学的数据统计方法，来衡量产品功能、UI设计、算法、策略、性能优化的关键指标效果。场景示例： 1、某个功能卡片介绍，有多套方案，怎么验证哪个效果更好一些？ 2、想上线一个新的产品优化策略，直接上线如果效果不佳，对用户损害非常大，无法承担带来的严重后果；优点： 1、量化结果，说服力：不能拍脑袋说这个功能优化好，通过ab实验，量化结果，用数据说话。 2、降低风险：实验有效果才会全量上线，避免传统操作上线后再观测数据的方式，对用户影响最小，降低风险。 3、抗干扰：通过正交实验、互斥实验、分桶等方法，有能力排除其他因素的干扰； 4、符合科学原理：ab实验经过了科学的实验设计、科学的用户抽样、运用科学的统计方法及数据分析得出的结论并采用逐步全量进行上线的方式。 5、口径统一：实验组和对照组同时生效、同时展示、采用同样的指标口径进行计算，避免了后期实验结果上因口径不同导致的分歧。

4. 贝壳AB实验现状介绍 – AB实验概述实验过程：为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，在线上流量中取出一小部分（较低风险），分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本（排除干扰），最后分析量化结果、评估出最好版本，正式采用。 A/B Test A 8 % B 4 % C 9 % 最优发版

5. 贝壳AB实验现状介绍 – AB实验流程产品：提出方案，实验设计与配置；研发：代码开发，集成AB接口；数据开发工程师：指标开发；数据分析师：实验数据分析；

6. AB实验平台架构设计

7. 流量分流模型分域设计：域1 域2 1、域1 + 域2 = 100%流量； B1层 B1-1 A B1-2 B1-3 2、B1层=B2层=B3层=域2流量； 3、B1-1+B1-2+B1-3=B1流量； B2层 B2-1 B2-2 B3层 B3

8. 正交模型 X1 X2 X层 1、层与层之间是正交，互不影响； 2、不同hash参数可以放到不同层； 3、参与X层实验X1用户，均匀分散到B层的Y1和Y2； Y层 Y1 Y2

9. 分流模型

10. 实验管理

11. 样本计算

12. 测试结果分析衡量指标为均值：T检验衡量指标为概率：Z检验 T检验：两个版本的各自均值、方差（标准差），以及样本的大小转化率高，就一定是最优的版本么？

13. 分流服务要求： 1、QPS较高，5w/s； 2、响应时长50ms内；解决途径： 1、基于内存； 2、分流sdk； 3、jvm调优；

14. 埋点平台介绍贝壳用户行为分析平台，提供从埋点管理 - 埋点测试 - 埋点数据落地 - 数据分析 - 业务落地的全流程数据分析服务。主要模块：元数据管理：提供埋点申请、管理、埋点测试、事件管理等功能；用户行为分析：提供事件分析、漏斗分析、留存分析、路径分析等分析模型；埋点治理：提供无效埋点治理规则及治理流程，包括到期提醒、转交、下线等功能；埋点监控：断流监控、异常波动监控；目前支撑贝壳、链家、link、德祐、如视、交易、司南、装修等几十个业务方，数据处理数百亿条/ 日，存储量百T/天；

15. 埋点开发方式介绍采集方式采集操作使用场景优势劣势代表方案代码埋点嵌入SDK 定义事件并添加事件代码按需开发，业务方有大量自定义属性维度的采集需求，需要根据需求定制化开发的需求场景。按需采集，业务信息完整，数据分析更聚焦开发工作量较大百度统计、友盟、神策等第三方服务全埋点嵌入SDK 标准化事件的埋点场景，例如APP启动退出、页面浏览关闭；流量数据分析需求仅需要交互层面的计数分析。简单快捷，开发工作量少数据准确性不高，上传数据较多，流量消耗高，计算成本较高，数据维度单一，影响用户体验 Mixpanel、Heap、腾讯移动分析可视化埋点嵌入SDK 可视化圈选定义事件按需采集，适用于用户行为与业务信息关联较少，页面量多且元素少的产品，业务人员自行圈选配置事件基本信息即可完成埋点。降低埋点使用者的门槛，通过圈选和后台配置锚点并实时下发到客户端，减少开发工作量业务方工作量增加，改版后需修改事件定义，缺少业务信息 GrowingIO 服务端埋点接口调用数据结构化适用于服务端行为日志分析。灵活便捷，无需发版数据上报链路更短更及时缺少前端的环境信息和交互信息埋点准确度排序：代码埋点>可视化埋点>全埋点，以上最理想的埋点方案是根据不同的业务和场景和业务自身实际需求，多种埋方式优劣互补方式按需采取。

16. 埋点现状分析埋点流程产品分析需求埋点方案注册埋点参与角色 PM PM PM 需求评审 RD PM 埋点开发埋点测试埋点验证埋点验收埋点使用 RD QA PM PM QA RD BI 角色痛点 PM 6个环节 RD 2个环节 1、重复埋点问题 l 埋点数据出了问题，找谁解决？谁来跟进定位、反馈问题？ l 埋点代码太冗余复杂了，严重侵入了我的业务 l 我负责的业务线有哪些埋点，可否在一个地方管理浏览？ QA 代码，想下线，无从下手？ l 埋点的需求和功能需求平齐？ 2个环节 l 怎么测试我开发的埋点是否有问题？重埋、漏埋、错埋？是否有统一验收标准？ 2、无使用埋点问题

17. 埋点平台架构流量分析埋点管理埋点规范/标准化标准化代码事件分析漏斗分析事件属性虚拟事件 Session管理渠道管理场景库规则校验维度管理数据管理留存分析路径分析事件类型埋点信息管理页面节点树埋点信息维护页面维护埋点流程线上化分布分析归因分析 Session分析热力分析埋点测试一键测试核心埋点回归测试测试报告埋点治理无效埋点规则监控治理流程埋点监控流量断流监控流量异常监控 SDK 埋点数据清洗埋点数据ETL 全链路数据校验埋点数据恢复埋点数据落地 android IOS WEB js 小程序

18. 埋点1.0数据链路图

19. 埋点2.0数据链路图

20. 数据分析模块-事件分析

21. 数据分析模块-漏斗分析

22. 数据分析模块-路径分析

23. 数据分析模块-数据看板

24. 数据分析模块-请求响应时长占比如何保证千亿数据、千级字段用户自定义查询？ 1、基于clickhouse； 2、读写分离； 3、缓存； 4、不同机器响应不同需求； 5、物化视图； 6、特殊场景定制化；

25. 埋点管理模块-页面维护

26. 可视化工具

27. 数据管理模块-事件类型

28. 埋点管理模块-监控治理

29. 埋点验证模块-实时检测

30. 下一步规划 • 样本预估 • 显著性检测 • AB通用指标建设 • 实验评估报告 • 小流量产品AB实验方案 • 埋点测试平台 • 埋点可视化

31.