美团优选智能质量方案探索

1. 美团优选智能质量方案探索美团优选测试部工具链组 / 王昭

2.

3. 大纲微服务架构对质量的挑战 • • 微服务架构对质量的挑战 • 微服务架构对质量的挑战微服务架构对质量的挑战 • 智能化质量体系思考 • • 智能化解决方案-服务链路分析 • 智能化解决方案-服务链路分析智能化解决方案-服务链路分析 • 智能化解决方案探索 • • 实际应用案例 • 实际应用案例实际应用案例 • 下一步工作一步改进方向 • • 下一步改进方向 • 下一步改进方向下一步改进方向 •

4. 快速迭代高并发 • 复杂且动态变化的关联依赖关系，包括服务，接口，数据库，消息队列，缓存，定时任务等之间的依赖关系，难以准确评估变更影响范围可维护性高可用 • 服务间有大量的通讯需求，主要是消息和rpc调用，存在隐藏契约导致的质量隐患可扩展性灰度发布 • 接口数量的爆炸，需要大量的自动化测试用例覆盖，而大量的用例又带来了维护成本高和效果难以评估的问题

5. 典型的质量流程需求沟通开发自测现有各类质量工具的特点提测沟通测试设计和执行测试评估并产出报告发布上线四肢发达头脑简单偏重执行，做什么和如何做基本靠人工经验线上监控

6. 基于人工经验的质量工具日益复杂化，智能化，且动态变化的业务系统

7. 大纲微服务架构对质量的挑战 • • 微服务架构对质量的挑战 • 微服务架构对质量的挑战微服务架构对质量的挑战 • 智能化质量体系思考 • • 智能化解决方案-服务链路分析 • 智能化解决方案-服务链路分析智能化解决方案-服务链路分析 • 智能化解决方案探索 • • 实际应用案例 • 实际应用案例实际应用案例 • 下一步工作一步改进方向 • • 下一步改进方向 • 下一步改进方向下一步改进方向 •

8. 智能化质量体系思考 How?

9. 智能化质量体系思考质量保障的目标 - 基于微服务架构的业务系统收集关于业务系统的各种数据从大数据中提取业务系统运行的规律或者模式赋能自动化和各类专项测试，全方位提升质量和效率

10. 大纲微服务架构对质量的挑战 • • 微服务架构对质量的挑战 • 微服务架构对质量的挑战微服务架构对质量的挑战 • 智能化质量体系思考 • • 智能化解决方案-服务链路分析 • 智能化解决方案-服务链路分析智能化解决方案-服务链路分析 • 智能化解决方案探索 • • 实际应用案例 • 实际应用案例实际应用案例 • 下一步工作一步改进方向 • • 下一步改进方向 • 下一步改进方向下一步改进方向 •

11. 智能化解决方案探索用例推荐运行日志链路日志配置数据服务流量消息队列离线数据机器学习数据挖掘质量策略推荐协议变更检测

12. 智能化解决方案-用例推荐自动化测试覆盖1 0000+接口且平均代码行覆盖率50%左右，需要多久？ 4 w+ case的更新维护需要人工投入多少时间？写了很多自动化case，对生产环境的业务场景覆盖如何量化评估？ 0 场景流量分析

13. 智能化解决方案-用例推荐测试流量和线上真实流量推荐测试用例，提升业务场景覆盖率，从质量和效率维度同时提升复杂场景业务的质量保障能力核心能力接口参数聚类通用校验条件场景覆盖率技术平台数据预处理自动化特征聚类算法关联挖掘底层依赖日志消息队列流量录制计算平台

14. 智能化解决方案-用例推荐用例运行依赖数据的构造大规模自动化特征工程大量机器学习任务的批量调度和执行 case校验条件的有效性

15. 智能化解决方案-用例推荐算法效果评估

16. 智能化解决方案-用例推荐推荐用例总数4w+，占自动化case总数50%+ 覆盖500+核心服务，1 w+接口，整体代码覆盖率50%+，场景覆盖率90%+ 除了接口自动化，还应用于性能测试，diff测试，效果评测，幂等测试等方向

17. 智能化解决方案-质量策略推荐测试同学最经常面对的问题，开发提测了，需要考虑哪些测试点，如何测试系统化的梳理测试范围依赖关系的感知缺乏是漏测和线上问题的主要原因之一测试设计推荐测试覆盖评估微服务架构的结构复杂性

18. 智能化解决方案-质量策略推荐核心能力变更感知辅助测试执行代码/库表/配置变更依赖分析质量风险提示测试覆盖评估序列挖掘库表分析代码分析风险评估数据预处理链路聚类相似度计算知识图谱日志代码平台图数据库数据库管理配置链路追踪发布平台计算平台技术平台底层依赖

19. 智能化解决方案-质量策略推荐海量服务链路数据的分析海量关联关系数据的存储和查询中间件和接口依赖关系的提取函数调用关系call graph

20. 智能化解决方案-质量策略推荐相比于人工，对于测试变更评估的效率提升90%以上变更接口平均测试覆盖率，从29%提升至51 % 19W 2.3W 9K 3.2W 3W 2.8W 2.6W 接口变更消息变更任务变更表字段变更 SQL变更配置变更字段一致性

21. 智能化解决方案-质量策略推荐源码测试范围推荐

22. 智能化解决方案-质量策略推荐 sql测试范围推荐

23. 智能化解决方案-协议变更检测某厂广告引擎，因为上游某部门的少量新增请求(其中某个字段有新的取值)，导致两小时内整个集群雪崩，损失过千万永远不能相信上游服务的请求是可预期的

24. 智能化解决方案-协议变更检测解决思路监控 • 准实时判断接口参数，消息，缓存数据是否有变化关注哪些字段 • 对业务逻辑有影响的关键字如何判断有变化 • 字段取值范围 • 字段取值分布 • 字段新增/减少如何大规模应用 • 基于数据分析学习关键字段及取值规律

25. 智能化解决方案-协议变更检测核心能力字段类型变化监测字段取值变化监测时间序列规律分析技术平台数据探查报警策略聚类算法流量预测底层依赖生产事件消息队列流量录制计算平台

26. 智能化解决方案-协议变更检测字段取值集合变化

27. 智能化解决方案-协议变更检测字段取值集合变化

28. 智能化解决方案-协议变更检测字段取值分布变化

29. 大纲微服务架构对质量的挑战 • • 微服务架构对质量的挑战 • 微服务架构对质量的挑战微服务架构对质量的挑战 • 智能化质量体系思考 • • 智能化解决方案-服务链路分析 • 智能化解决方案-服务链路分析智能化解决方案-服务链路分析 • 智能化解决方案探索 • • 实际应用案例 • 实际应用案例实际应用案例 • 下一步工作一步改进方向 • • 下一步改进方向 • 下一步改进方向下一步改进方向 •

30. 自动化用例失败的问题排查微服务架构的稳定性，可靠性治理质量策略推荐的风险评估和通用测试策略 gpt在质量领域的应用

31.