Qunar自动化测试平台演进

1. 去哪儿网自动化测试平台演进鲁国宁

2. 讲师简介请插入您的照片鲁国宁  2019~至今：去哪儿网-基础平台部，致力于测试流程治理与测试工具建设；主导性能测试平台搭建、自动化测试平台改造；  2015~2019：京东商城-效能研发部，从事性能压测平台建设，实现亿级QPS压测，智能寻点等功能；为618、双11保驾护航；  2013~2015：海尔集团，数据中心团队，从事数据相关自动化测试平台开发与运维； ee.msup.com.cn

3. 目录 ee.msup.com.cn 1 背景&痛点 2 工具实践&经验 3 灭霸设计与应用 4 改进&探索

4. 一、背景-举例 • 简单介绍案例背景，遇到哪些问题等 ee.msup.com.cn

5. 一、背景-举例 ee.msup.com.cn

6. 一、背景-故障统计机票业务线报价故障故障分类 37% 63% 29% 漏测 53% 18% 发布配置变更其他 P1/P2故障级故障 21% 其他 79% 漏测 ee.msup.com.cn 其他

7. 一、背景-痛点 CheckList/用例管理自助维护环境管理结果分析持续集成 ee.msup.com.cn

8. 目录 ee.msup.com.cn 1 背景&痛点 2 工具实践&经验 3 灭霸设计与应用 4 改进&探索

9. 二、工具发展实践 82% 30% 15% ee.msup.com.cn Ares QueryDiff 灭霸

10. 二、实践中经验与教训可落地开源组件 ee.msup.com.cn 学会说不

11. 目录 ee.msup.com.cn 1 背景&痛点 2 工具实践&经验 3 灭霸设计与应用 4 改进&探索

12. 三、自动化测试平台-灭霸 ee.msup.com.cn

13. 三、灭霸设计 Data Center Thanos Web 页面交互业务逻辑层 DB 应用配置用例管理触发执行报告汇总创建测试自动生成 checklist及管理 Mysql Redis 配置测试记录分布式锁缓存生成用例部署环境模拟请求发布系统质量检查日志收集结果分析生成报告支撑服务保存录制数据保存 cas e数据 DB 配置管理 ee.msup.com.cn 业务逻辑层查询 cas e数据查询录制数据保存回放数据固化录制数据 Mysql Redis Hbase ES 固化 case 缓存录制数据索引 Thanos Agent 业务逻辑层录制入口及子调用上报录制数据上报用例数据子调用回放入口采样入口白名单子调用黑名单

14. 三、灭霸功能模块流程管理 ee.msup.com.cn 用例运维环境管理执行编排结果分析

15. 三、执行流程触发项目流程用户配置变更外部应用 ee.msup.com.cn 执行报告应用检查环境部署部署通过 Case生成 Case编排 Case准备基准环境结果断言测试环境报告 & 通知

16. 三、灭霸功能模块流程管理 ee.msup.com.cn 用例运维环境管理执行编排结果分析

17. 三、灭霸-用例运维 01 02 03 04 ee.msup.com.cn 数据源与解析 Checklist运维 Case运维 Case少？失效？

18. 三、用例-数据源&解析业务日志 SDK入口采样数据业务数据录制回放接口数据 ee.msup.com.cn 解析器

19. 三、用例-CheckList运维 ee.msup.com.cn

20. 三、用例-测试维度自动更新新增业务类型？ ee.msup.com.cn

21. 三、用例-测试维度自动更新业务类型消失？叉乘业务不合理？ ee.msup.com.cn

22. 三、用例-生成Case列表 ee.msup.com.cn

23. 三、用例-自运维检查点自动补充 ee.msup.com.cn CheckList Case 生成与失效持续更新

24. 三、用例-Case数量&时效性实时生成固化Case 定时补充数据清洗/偏移 ee.msup.com.cn

25. 三、灭霸功能模块流程管理 ee.msup.com.cn 用例运维环境管理执行编排结果分析

26. 三、环境部署软路由 01 02 多环境分时复用 ee.msup.com.cn 03 线上环境一致机器/代码/配置

27. 三、灭霸功能模块流程管理 ee.msup.com.cn 用例运维环境管理执行编排结果分析

28. 三、编排-Case执行任务创建 Task2 任务创建 Task2 Case3 Case2 Case1 Case1 Case2 Case3 进入Case执行 Base URL Test URL 结果diff 重入队列成功 N ee.msup.com.cn 达到重试上限 Y Y 保存结果结束生成报告

29. 三、编排-录制回放 serviceB serviceC http req serviceA dubbo Sedis Redis Java方法 Mysql ee.msup.com.cn

30. 三、灭霸功能模块流程管理 ee.msup.com.cn 用例运维环境管理执行编排结果分析

31. 三、结果分析 ee.msup.com.cn

32. 三、结果分析-配置忽略节点、关心节点 ee.msup.com.cn

33. 三、结果分析-配置指定字段排序相似度匹配正则断言特殊Key ee.msup.com.cn

34. 三、结果分析-结论+质量门禁 ee.msup.com.cn

35. 三、应用扩展 ee.msup.com.cn

36. 三、灭霸应用混沌工程公共组件升级性能测试流量导入 Dubbo升级压测数据结果分析 Agent升级压测后回归强弱依赖标识 Tomcat/JDK升级 Tcdev版本升级 ee.msup.com.cn

37. 三、使用机票业务线报价故障 14%  投入成本：620人天 86%  日常执行数据漏测其他 P1/P2故障级故障  执行时长：297s  测试比重 15 开发 8% 测试 92% 10 5 0 2019全年 ee.msup.com.cn 近半年漏测其他

38. 目录 ee.msup.com.cn 1 背景&痛点 2 工具实践&经验 3 灭霸设计与应用 4 改进&探索

39. 四、探索改进好用易用 ee.msup.com.cn 拓展

40. 关注msup公众号获取更多工程效能实践案例