基于可测性的高效自动化测试

1. 基于可测性改进的高效自动化测试王文浩

2. 讲师简介 2016年7月加入美团，现就职于到店事业群，从事测试开发工作王文浩测试开发工程师主要从事测试工具设计与开发、持续交付等领域的工作，致力于服务端可测性的改进和测试效率提升卓越工程生产力峰会 ee.msup.com.cn 2

3. 目录 01 02 03 04 微服务自动化测试困境可测性改进应用实践回顾&展望卓越工程生产力峰会 ee.msup.com.cn 3

4. 微服务自动化测试困境 - 开发成本高场景构造难构造单个场景往往需要涉及多个服务间数据修改微服务调用拓扑图卓越工程生产力峰会 ee.msup.com.cn 开发成本测试深度用例稳定性排查效率 4

5. 微服务自动化测试困境 - 开发成本高接口定义结构复杂自动测试开发耗时单接口定义字段多达 200+ 70% 的时间花费在数据准备+流程编写阶段卓越工程生产力峰会 ee.msup.com.cn 开发成本测试深度用例稳定性排查效率 5

6. 微服务自动化测试困境 - 测试深度不足单服务架构复杂 RPC/HTTP/MQ/定时任务数据库组件分布式调度任务消息中间件 KV 存储 •自动化测试校验粒度粗 •底层中间件无法覆盖 •部分类型无法进行自动化测试外部依赖 PRC/HTTP 服务治理弹性伸缩单服务架构卓越工程生产力峰会 ee.msup.com.cn 开发成本测试深度用例稳定性排查效率 6

7. 微服务自动化测试困境 - 用例稳定性低单次调用链路⻓查询接口 1 个调用深度 6 层调用服务 39 个调用次数 242 次测试稳定性低 •稳定性受制于下游服务的稳定性 •以单服务可用性99.5%为例，242次调用的可用性为(0.995)**242 = 29.73% 卓越工程生产力峰会 ee.msup.com.cn 开发成本测试深度用例稳定性排查效率 7

8. 微服务自动化测试困境 - 问题排查效率低复现成本高数据流转难 •沟通成本高 •信息记录不规范或难以统计，缺乏必要的复现信息 •场景复现链路⻓ •由于数据/环境的波动以及较⻓的复现链路导致场景难以复现缺乏合适的工具发起RPC调用卓越工程生产力峰会 ee.msup.com.cn 开发成本测试深度用例稳定性排查效率 8

9. 微服务自动化测试困境 - 问题排查效率低系统迭代快服务数量: 3000+ ，日均发布次数 200+ 次自动化测试开发跟不上发布频率卓越工程生产力峰会 ee.msup.com.cn 开发成本测试深度用例稳定性排查效率 9

10. 微服务服务端测试挑战开发成本高用例稳定性低测试深度不足数据流转不透明服务可测性不足调用链路不可控排查效率低卓越工程生产力峰会 ee.msup.com.cn 10

11. 目录 01 02 03 04 微服务自动化测试困境可测性改进应用实践回顾&展望卓越工程生产力峰会 ee.msup.com.cn 11

12. 可测性定义 The capability of the software product to enable modi ed software to be tested [1] Degree of e ectiveness and e ciency with which test criteria can be established for a system, product or component and tests can be performed to determine whether those criteria have been met [2] Attributes of software that bear on the e ort needed to validate the software product [3] [1]. ISTQB standard glossary [2]. ISO standard 25010:2011 [3]. ISO standard 9126- 1: 2001 12 卓越工程生产力峰会 ee.msup.com.cn

13. 可测性简介测试从本质上通常可以视为「刺激系统而使之产生响应，然后对其进行检查的过程」。待测系统（执行）刺激（响应）检查刺激可控，响应可观可测性 = 可观性卓越工程生产力峰会 ee.msup.com.cn 13 + 可控性

14. 可测性分析可测性 = 可观性 + 可控性开发成本高开发成本高测试深度不足用例稳定性低排查效率低测试深度不足排查效率低卓越工程生产力峰会 ee.msup.com.cn 14

15. 可测性改进服务端测试工作台 agent 数据上传指令下发服务C 录制回放发起请求卓越工程生产力峰会 ee.msup.com.cn agent agent 服务A 服务B 配置可测性改进方案 15

16. 可测性改进 - 降低开发成本 Mock F’ •可观性 •调用链路可视化 •无视接口定义复杂度 A •可控性 •控制调用范围，避免调用链路扩散 •降低场景构造成本 Mock B’ D 卓越工程生产力峰会 ee.msup.com.cn 开发成本测试深度用例稳定性排查效率 16 Mock C’ E

17. 可测性改进 - 增加测试深度 •可观性 •内部调用逻辑可视化 •暴露内部链路，提供对内部链路校验能力 RPC/HTTP/MQ/定时任务数据库组件分布式调度任务消息中间件 KV 存储 •可控性 •中间件调用Mock 外部依赖 PRC/HTTP 服务治理弹性伸缩 RPC/HTTP/MQ/定时任务数据库组件分布式调度任务消息中间件 KV 存储外部依赖 PRC/HTTP 服务治理卓越工程生产力峰会 ee.msup.com.cn 开发成本测试深度弹性伸缩用例稳定性排查效率 17

18. 可测性改进 - 提高稳定性查询接口调用深度 1个 6层调用服务调用次数 39个 242次查询接口调用深度 1个 1层调用服务调用次数 6个 9次 •可控性：降低调用深度 •屏蔽无关服务波动对用例稳定性的影响卓越工程生产力峰会 ee.msup.com.cn 开发成本测试深度用例稳定性排查效率 18 服务可用性 29.73% 服务可用性 95.59%

19. 可测性改进 - 提高问题排查效率复现成本高数据流转难 •可观性 •打造链路可视化能力 •数据格式标准化 •可控性 •链路数据Mock 卓越工程生产力峰会 ee.msup.com.cn 开发成本测试深度用例稳定性排查效率 19 提供标准化记录模板数据无缝流转

20. 目录 01 02 03 04 微服务自动化测试困境可测性改进应用实践回顾&展望卓越工程生产力峰会 ee.msup.com.cn 20

21. 应用实践链路数据检查用例个性化校验自定义回放 … 校验规则用例生成链路可视化场景重建 … 实时可控卓越工程生产力峰会 ee.msup.com.cn 21 开放扩展能力，与业务方共建个性化测试能力提供基础测试能力以可测性增强为基础

22. 应用实践 - 可测性增强链路可视化实时录制卓越工程生产力峰会 ee.msup.com.cn 22

23. 应用实践 - 可测性增强实时Mock 卓越工程生产力峰会 ee.msup.com.cn 23

24. 应用实践 - 测试能力校验规则所⻅即所得的规则编辑能力实时校验卓越工程生产力峰会 ee.msup.com.cn 24

25. 应用实践 - 测试能力场景重建缺陷创建标准化数据分享通过标准化模板生成缺陷信息卓越工程生产力峰会 ee.msup.com.cn 一键提交数据无缝流转 25

26. 应用实践 - 测试能力场景重建回放结果自动校验响应DIFF 链路DIFF 判断出错原因定位问题根因卓越工程生产力峰会 ee.msup.com.cn 26

27. 应用实践 - 测试能力接口测试用例生成以尽可能少的用例达到较高的覆盖相离 A B 基于链路数据的相似度系数对测试用例进行推荐 A 相交 C 相似度越高，流量的覆盖效果越趋于一致包含 A 添加B到用例中基于当前覆盖情况判断是否添加用例C 排除用例D D 卓越工程生产力峰会 ee.msup.com.cn 接口测试用例推荐 27

28. 应用实践 - 测试能力接口测试用例生成自动化用例选择一键PR 卓越工程生产力峰会 ee.msup.com.cn 28

29. 应用实践 - 测试能力接口测试用例模式生成模式介绍 F Mock F’ A A B C D 卓越工程生产力峰会 ee.msup.com.cn Mock B’ E 直接mock 29 Mock C’

30. 应用实践 - 测试能力接口测试用例模式生成模式介绍 F Mock F’ A A B C D 卓越工程生产力峰会 ee.msup.com.cn B E C Mock D’ 链路mock 30 Mock E’

31. 应用实践 - 测试能力接口测试用例标准化用例结构标准化用例校验标准化卓越工程生产力峰会 ee.msup.com.cn 31

32. 应用实践 - 测试能力接口测试用例推荐手工测试用例推荐卓越工程生产力峰会 ee.msup.com.cn 32 接口自动化用例生成

33. 应用实践 - 测试能力 DIFF 测试性能测试健壮性测试专项测试卓越工程生产力峰会 ee.msup.com.cn 33 安全测试

34. 应用实践 - 扩展能力数据录制用例生成用例筛选回放配置扩展引擎触发点数据校验插件1 返回校验结果卓越工程生产力峰会 ee.msup.com.cn 34 插件2 ······ 插件n

35. 可测性改进 - 服务架构业务应用测试分析测试执行测试评估能力扩展能力扩展测试分析测试推荐链路校验用例生成场景重建专项测试测试度量测试报告测试能力基础能力可测性增强自定义拦截点 Mock数据下发链路可视化链路数据查询实时可控卓越工程生产力峰会 ee.msup.com.cn 35

36. 应用数据录制服务录制接口录制数据量生成用例时间成本降低用例成功率 600+ 2.3K 32K 65% 21M 99% 卓越工程生产力峰会 ee.msup.com.cn [1]. 数据统计范围：2021.09.05~2021.09.11 36

37. 目录 01 02 03 04 微服务自动化测试困境可测性改进应用实践回顾&展望卓越工程生产力峰会 ee.msup.com.cn 37

38. 演进历程回顾测试工作台 2020 通用化Mock服务 2018 RPC Mock服务 Moka3 部分可观性+可控性增强 2017 Moka2 可控性增强卓越工程生产力峰会 ee.msup.com.cn 38 TestX 全面可观性+可控性增强

39. 未来展望以可测性改进为基础，打造面向服务端测试的可扩展工作台测试分析测试执行卓越工程生产力峰会 ee.msup.com.cn 39 测试度量

40. Q&A 欢迎加入美团卓越工程生产力峰会 ee.msup.com.cn 40

41. 关注msup公众号获取更多工程效能实践案例