得物精准测试提效应用

如果无法正常显示，请先停止浏览器的去广告插件。

1. 得物技术沙龙第26其得物技术沙龙第26期得到运动*潮流*好物得物 CAN'TSTOPWON'TSTOP 得物技术沙龙第26期【主题】得物精准测试提效应用得物技术沙龙第26期得物技术沙龙第26期得物商家域质量专家王红梅 2024/09/22 得物技术沙龙第26期得物技术沙龙第26期

2. 目录得物技术沙龙第26期得物技术沙龙第26期 01 精准测试应用背景 02 精准测试落地挑战得物技术沙龙第26期 03 精准测试提效实践得物技术沙龙第26期得物技术沙龙第26期 04 总结以及未来规划得物技术沙龙第26期导物技术沙力得物技术沙龙第26期得物 CAN'T STOPWON'T STOP

3. 得物技术沙龙第26其导物技术沙龙第26期 01 得物技术沙龙第26期精准测试应用背景得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物 CAN'T STOP WON'T STOP

4. 精准测试应用背景行业现状：大部分互联网公司都对精准测试进行了落地实践阿*系列精准测试实践公司主要能力优势天* 代码变更分析，代码插桩，线程级覆盖率根据代码变动，字段更新精简用例池，可以精准度量测试的覆盖度和有效性淘* 代码变更分析，代码用例关系沉淀，用例推荐、管理利用RBC的用例推荐能力，专门平台用例沉淀和执行能力，流程卡点能力，实现了智能无人值守测试高* 代码变动依赖分析收集一些必要的数据，文件路径，文件功能描述，文件内容摘要，依赖路径等，用于变动检测阿**康动态代码调用关系分析利用代码调用关系分析变更点影响的文件，可以显示文件影响代码，支持前端测试范围评估菜* 静态代码调用关系分享实现精准测试在线化，由质量在线化和精准测试两大模块组成，精准测试由测试范围推荐，测试执行和测试度量三部分有机结合组成。其他公司网* : https://www.infoq.cn/article/xuu91crqa4hcjz8uomjs 爱*艺:https://xie.infoq.cn/article/781b1a4fa4aca12e38caf86aa 腾*:https://cloud.tencent.com/developer/article/1491518 有*： https://jishuin.proginn.com/p/763bfbd315ff CAN'TSTOPWON'TSTOP 等等

5. 01 精准测试应用背景导物技术沙龙第26期物技术沙龙第26期背景（面临的问题）经典回答结果 ·改动了什么？ ·冗余执行、低效 ·有哪些影响？ ·最好都测一下 ·回归范围≥影响范围≥ ·覆盖得如何？改动范围得物技术沙龙第2 所以，我们也结合得物自身的情况和面临的问题做了一些分析和评估后，2023年中期开启了精准测试在业务中的提效实践。因为大家都知道，精准测试可以回答变了什么、影响范围、测试的怎么样这类问题。此外，还可以提升测试的针对性，进而提升测试效率物技术沙龙第26期得物 CAN'T STOPWON'T STOP

6. 01 精准测试应用背景得物技术沙龙第26期影响面很难精确评估 1.人工评估没有度量就无法管理改动项无法实时感知 6.无法度量 2.多域共建有足够时间和资源，以上挑战也许可以一一克服；得物技术沙龙第26期交付风险而实际上，业务节奏快、资源紧张。沙龙第26期高效是关键 5.代码非最 3.多域协同新得物技术沙龙第26期发布分支未反合master 边界处不能有效衔接 4.开发自测全场景未能充分覆盖得物技术沙龙第26期旱咖 CAN'TSTOPWON'T STOP

7. 01 精准测试应用背景导物技术沙龙第26期胸有成竹 ·精准推荐改动接口，确定测试范围极致执行 ·全面覆盖影响范围，规避测试遗漏物技术沙龙第26期有的放矢因此，引入精准测试平台 ·降低余用例执行，提高测试效率涓滴不漏得物技术沙龙第26期得物技术沙龙第26期 ·明确精准测试度量，提升代码覆盖越早越好 ·提前感知改动影响，实现降本增效得物技术沙龙第26期得物技术沙龙第26期得物 CAN'TSTOPWON'TSTOP

8. 得物技术沙龙第26期导物技术沙龙第26期得物技术沙龙第26期 02 精准测试落地挑战导物技术沙龙策得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物 CAN'T STOP WON'T STOP

9. 02 精准测试落地挑战-精准测试介绍精准测试是什么？物技术沙龙第26期导物技术沙龙第26期 1.根据应用覆盖率情况 2.反推执行结果，确保交付质量 1.根据测试范围，生成最小且精准的测试用例集 2.进而执行自动化或功能测试 6、结果报告有效交付用例，不做余执行，高效执行 1.在精准测试平台创建推荐 5、覆盖率任务得物技术沙龙第26期 2.平台根据代码变更精准推 4、过程度量验收上线荐出改动或影响的所有接口 3、测试执行 2、测试什么业务需求入口 1.实时记录过程数据 1. 变更推荐 1、变更什么 Actor 2. 风险推荐 2.观测执行效果，做出 H5变更推荐必要反馈根据推荐出的接口确认测试范围重任交给精准测试平台开发变更代码提测得物技术沙龙第26期 CAN'T STOPWON'T STOP

10. 02 精准测试落地挑战-精准测试平台介绍精准测试平台-包含：变更推荐和风险推荐物技术沙龙第26期开发测试发布协同流水线提测流水线（补充左移、范围评估、风险推荐）准出流水线（变更覆盖率、风险评估范围评估、风险评估）支持语言 Java Golang 变更推荐（变更代码影响的范围）变更准入/准出评估数据度量得物技术沙龙第26期变更接口变更方法自动化关联率自动化通过率运营报表效率报表精变更资损标自动化用例功能用例通过率增量代码覆盖率其他数据报表准测功能用例用例计划试术沙龙第26期平风险推荐（增量/全量风险推荐）风险准入/准出评估动态辅助推荐跨域全链路推荐台得物技术沙龙第26期资损接口资损方法资损接口风险核心接口风险覆盖方法链路上游接口资损自动化用例资损自动化计划资损方法风险代码覆盖率链路自动化用例上游自动化用例 26期核心自动化用例资损字段自动化通过率链路功能用例上游功能用例得物技术沙龙第2 依赖平台自动化平台用例平台覆盖率平台 trace平台 CAN'TSTOPWON'TSTOP

11. 02 精准测试落地挑战-精准测试平台介绍精准测试平台-变更推荐(接口、代码方法、自动化用例、自动化测试计划、执行情况度量) 得物技术沙龙第26期流水线平台精创建推荐任务是否存在销路链路收集是（直接执行子任务，并复用链路）批量唤推荐任务执行链路子任务平异步后置任务执行推荐子任务得物技术沙龙第26期台执行增量白精动化任务获取源码获取源码准测试—推荐引创建资损自动化代码对比用例计划得物技术沙龙第26期创建功能风险推荐增量推荐例计划 (API方法） (API,方洁) 链路分析得物技术沙龙第26期生成风网险接口推荐自动化用例险代码报星率推荐功能用例上传链路上传资损信息得物技术沙龙第26 自动化平台用例平台盖率平台 trace平台（全域推荐）得物技术沙龙第26期 CAN'TSTOPWON'TSTOP

12. 02 精准测试落地挑战-精准测试平台介绍精准测试平台-风险推荐（接口、代码方法、自动化用例、自动化测试计划、风险代码覆盖评估）技术沙龙第26期风险覆盖率-风险方法提取示意图风险覆盖率-风险方法提取示意图推荐的变更接口推荐的变更接口变更接口A 变更接口B POP1接口A 非POP1接口A 资损接口A 损接口B POP1接口A 非POP1接口A 方法3 方法5 方法1 方法方法2 方法4 方法方法4 推荐的变更方法推荐的变更方法变更方法E 资损方法A 变更方法B 麦更方法C 变更方法D 变更方法E 资损方法A 变更方法B 变更方法C 变更方法D 未变更方法池未安更方法池方法1 方法2 方法1 方法2 扩展风险方法推荐：通过AI或其他技术手段，分析出有风险的方法并推荐出对应的方法和接口 CAN'TSTOPWON'TSTOP

13. 02 精准测试落地挑战-精准测试使用流程及挑战能力：精准测试平台应用维度推荐出变更/影响接口挑战一：平台推荐要精准，期望达到100%且稳定 1、挑战二：业务规模化应用，其精准测试任务期望可自动化、智能化 2、单应用维度进行推荐返回执行结果推荐出变更影响返回执行结果接口自动化平台用例平台-全用例集沙龙第26期香查找查找得物技术沙龙第已覆盖自动化用例（含资损手工用例（绑定apl）已覆盖关联执行用例设计关联执行副 CAN'TSTOPWON'TSTOP

14. 得物技术沙龙第26期导物技术沙龙第26期得物技术沙龙第26期 03 精准测试提效实践导物技术沙龙第得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物 CAN'T STOP WON'T STOP

15. 03 精准测试提效实践-实践一【一】用精准平台，精准率是关键导物技术沙龙第26期精准率=推荐变更接口数/实际变更接口数*100% 痛点：精准率低，不可依赖，需人工二次review，效率低目标：精准率达到100%且保持稳定得物技术沙龙策做了什么？ 1.当前迭代应用&复盘，提出不精准案例 2.平台仔细分析&定位，解决不精准问题 3.下个选代验证&闭环，持续提升精准率得物技术沙龙第26期其中，解决问题过程中也遇到了3种典型问题导致变更接口推荐不出来的难题，得物技术沙龙第26期是比较大的技术挑战（之后会具体讲）收益：期 2023.Q4末2个迭代精准率稳定在100%，为后期大规模推广应用莫定了良好的基础。沙龙第26期得物 CAN'T STOPWON'T STOP

16. 03 精准测试提效实践-实践一技术挑战一：抽象调用（导致实际调用链断裂）解决方案：拓展支持4种抽象写法，解决多父类/接口、多层级继承关系的最终归属调用链技术挑战二：lombok注解（导致源代码缺少）解决方案：解决@Data注解会在编译时生成对应的方法，源码AST分析时这些方法并不存。推荐引擎通过分析注解和类属性及现有方法后生成缺少源代码得物技术沙龙第26期技术挑战三：反射调用（导致实际调用链断裂）解决方案：解决反射调用方法时无法预知调用关系的难题，支持解析参数实际值（普通值、计算结果值），支持变量被重复赋值后的精准匹配得物技术沙龙第26期得物 CAN'TSTOPWON'TSTOP

17. 03 精准测试提效实践-实践- 经过不到2个Q，精准率达到100%且保持稳定，为后期大规模推广应用莫定了良好的基础。平均精准率 100.00% 100% 80.00% 81.47% 得物技术沙龙第26期 60.00% 56.80% 40.00% 20.00% 得物技术沙龙第26期得物技术沙龙第26期 0.00% 2023.Q3 2023.Q4 2024.Q1-至今平均精准率得物技术沙龙第2 Q3低的主要原因：以上介绍的3个原因导致得物技术沙龙第26期得物 CAN'T STOP WON'T STOP

18. 03 精准测试提效实践-实践二沙龙第26期 1.应用多（单业务域应用数量达50+），单应用依次执行，耗时久，大约1d 背景 2.用例多（单业务域全量用例6000+），手动关联容易漏，时效差，大约0.5d 成本高，效率低 3.数据多（包括执行过程及结果数据），人工统计易出错，效率低，大约0.5d 规模化应用任务 1.降低人工投入成本：让精准平台成为大家的”帮手 2.提升业务使用效率：打通平台工具为”人民”服务，高效才是重点 1.结合流水线：通过提测流水线、集成流水线自动触发，早执行、成本低、效率高行动 2.结合自动化：自动查找、关联用例：自动创建、执行计划：自动同步、记录数据 3.结合覆盖率：通过覆盖率反推测试执行情况，对用例查缺补漏，做到极致执行 1.每迭代冒烟、集成阶段执行精准测试人力投入降至0（-2d），均由流水线自动触发结果 2.商家核心应用覆盖率，变更接口覆盖率100%，从而达到应用增量代码覆盖率85%+ 得物 CAN'T STOP WON'T STOP

19. 精准测试提效实践-实践二结合流水线 1.模板配置-应用一次性接入子域：场景：Feature分支 Release版本分支 Release分支 MR准入集成流水线测试准入单应用模版集成模版运行环境：t1 修改模板名称及环块任务编排应用配置保存模版立即生效当前业务域下共有仓库：个、应用、关联应用记录（注：其中没有关联应用的仓库不进行展示，大仓的仓库无法基于模版应用流水线计划）关联应用仓库应用后端精准测试操作导物技术沙龙第2 master 执行功能用例：关闭执行自动化：开启自动化项目id：未选择 master 执行功能用例：关闭执行自动化：开启自动化项目id：未选择 CAN'TSTOPWON'TSTOP

20. 精准测试提效实践-实践二物技术沙龙策结合流水线 1.准入流水线：开发提测时自动触发 2.集成流水线：迭代0集成阶段一键触发流水线执行配置 X 【测试冒烟】商家集成准入-冒烟【一轮测试】商家集成准出-一轮【回归测试】商家集成准出-送代发布【回归测试】商家集成准出-班车发布【预发生产验当前选择的是【商家集成准出-送代发布】集成流水线，以下是模板预设的标准流水线节点节点预览收起 1 代码检查 2 发送报告容器构建发送报告运行配置运行环境：染色环境信息由流水线模版默认生成修改模版配置运行流水线 CAN'TSTOPWON'TSTOP

21. 03 精准测试提效实践-实践二精准推荐结果 1.变更/风险推荐结果：包括自动化关联情况，风险覆盖等情况已完成开始克隆源码（11> 代码对比（3） > 提取api (s) >推荐自动化case（7）> 推荐功能case 结来 V变更接口（14）自动化关联率：21.43%功能关联率：28.57%风险覆盖率：54.2% [一键自动化][查看变更方法][宣看变更方法资损链路][宣看覆盖率检测报告][宣看风险覆盖率报告] 风险接口总数：8核心接口风险数：5资损风险接口数：3 请求类型接口类型是否风险√是否新增请输入接口路径搜索韩选标记状态 ID 链路ID 自动化状态：功能状态：风险状态接口协议优先级接口路径 qps 推荐用例导物技术沙龙 136194 284 已推出无关联有风险 auto: 1 http P1 功能：0 136196 284 已推出无关联有风险 http auto: 1 P1 功能：0 136187 284 已推出已推出有风险 http P0 auto: 1 功能：0 284 无关联无关联无风险 http 284 无关联无关联有风险 ttp 导物技术沙龙第 PO 284 无关联无关联无风险 ttP 136197 284 无关联无关联无风险 http 136198 284 无关联无关联无风险 http 136199 284 无关联无关联有风险 dubb 136200 284 无关肤无关联无风路共14条 10条/页 CAN'TSTOPWON'TSTOP

22. 03 精准测试提效实践-实践二物技术沙龙第26其技术沙龙第26期结合自动化 1.自动化任务：自动关联后自动生成和执行 2.自动化成功率：自动计算自动化执行结果平台任务自动化任务(1) C刷新成失跳总任务ID 项目ID 任务名成功率技术沙龙第26期功败过数 1366350 20006 0 98.75% 5) 得物技术沙龙第26 得物技术沙龙第26期得物技术沙龙第26期得物 CAN'T STOPWON'T STOP

23. 精准测试提效实践-实践二结合数据报表统计当前各应用自动化覆盖情况，【未实现接口数】是有变更但无自动化关联，我们会优先去覆盖这些case 子域 POP1接口变更数 POP1实现接口数 POP1未实现接口数 POP1接口实现率接口变更数实现接口数未实现接口数接口实现率风险代码链路覆盖率应用选代增量覆盖率商家 3 3 0 100.00% 1166 922 244 79.07% 0% 0% 应用名优先级 POP1接口变更数 POP1实现接口数 POP1未实现接口数 POP1接口实现率接口变更数实现接口数未实现接口数接口实现率 TT PO 0 0 47 38 80.85% ces PO 0 0 0 205 124 B1 60.49% m ille P1 0 62 52 10 83.87% ot PO 131 113 18 86.26% m laf PO 173 105 68 60.69% ra PO 341 315 26 92.38% P1 口 30 30 100.00% dua vice PO 100.00% 33 100.00% me aces PO 100.00% 29 19 65.52% P1 109 21 80.73% TT P1 100.00% dop ces P1 0.00% axy P0 100.00% CAN'TSTOPWON'TSTOP

24. 精准测试提效实践-实践二结合覆盖率根据应用增量代码覆盖率反推执行过程，防止漏测应用名： m ar 环境：请选择环境染色标：请选择染色标业务域：商家× 共1个报告类型：请选择选代版本： 549 X 收集分支：请选择分支启动模式：请选择启动模式报告标签：全量 ID : 55 31 任务ID：报告ID 我的：查询标记更多 ID 应用名境行覆盖率增量行覆盖率分支覆盖率类覆盖率合并染色标方法覆盖率代码版本操作当前版本：release-549 编辑 mercl lar Java t1 176 41 17.8% 对比版本： master 一键重跑 E 81 商家 rint- )und 180 230 当前提交：5ba87313 html报告对比提交：ae0349ca 问题分析 CAN'TSTOPWON'TSTOP

25. 03 精准测试提效实践-其他得物配备了非常完善的测试平台和工具，将测试平台、工具结合起来： 1、重复工作机器做；2、难评估的事数据辅助；3、测试/发布效率持续提升. 协同平质量大 1、需求管理平台：从MRD到PRD，绑定评审及任务拆解，为高效台交付打好基础；盘 2、研发协同平台：从需求联调、自测、提测到缺陷记录、流转，需求管键式追踪过程节点，规避风险；理平台 3、质量大盘管理：“没有度量就无法管理”。质量大盘让交付过程可追踪，结果可衡量。物产丰富，一键打通物技术液得物技术沙龙第26期得物技术沙龙第26期得物 CAN'TSTOPWON'TSTOP

26. 得物技术沙龙第26期导物技术沙龙第26期得物技术沙龙第26期 04 总结以及未来规划导物技术沙龙第得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物 CAN'T STOP WON'T STOP

27. 04总结以及未来规划-总结物技术沙龙第26期物技术沙龙第26期 ·拦截缺陷：100+ 核心应用增量覆盖 ·单迭代投入<4h 率85%+ ·执行人力降至0 ·核心应用自动化关 ·分析失败case和结联率78%+ 果数据不超过4h 降发生提效率 ·流程强监管获奖 1.获得技术部第十一期稳定性之星-优秀项目奖 2.获得质量平台-优秀技术类小项目-卓越质量奖扩场景落资产 ·自测需求 ·博客&分享 ·后端技改需求 ·博客：2篇，得物公众号文章：1篇 ·慢sql治理 ·分享：大部门分享 ·代码分支合并等 1次得物技术沙龙第26期旱咖 CAN'T STOPWON'T STOP

28. 04总结以及未来规划-未来规划得物技术沙龙第26期导物技术沙龙第26期 1、风险推荐规模化：全域规模化应用得物技术沙龙第 2、跨域全链路推荐：全域全链路推荐，如：商家改动一行代码，能推荐出该行代码对全域、全链路的影响面 3、其他技术创新探索得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物技术沙龙第26期得物 CAN'T STOP WON'T STOP

29. 得物技术沙龙第得物技术沙龙第26期 THANKS 得物技术沙龙第26期导物技术沙龙第26 得物技术沙龙第26期得物技术沙龙第26其 CAN'T STOP WON'T STOP