基于代码覆盖率的精准测试提效实践

1. 基于代码覆盖率的精准测试提效实践有赞零售秦阳

2. ⽬目录 • 技术背景 • 检测原理理 • 系统架构 • 案例例分析

3. 技术背景

4. ⼿手⼯工测试⽆无法量量化，依赖业务经验 • • • • • • 这些测试⽤用例例够不不够？这些代码执⾏行行了了没有？这⾥里里的逻辑遗漏漏了了？ 1000 ⾏行行代码开发 20 个测试⽤用例例这些⽤用例例是否覆盖所有场景？这个项⽬目的需求都测到了了吗？上次新增代码都测到了了吗？ 20 个真实场景测试⽤用例例测试

5. 单测的维护成本⾼高模块总代码已执⾏行行覆盖率⾸首⻚页 300 300 100% 购物⻋车 300 240 80% 设置 200 0 0% …… …… …… …… 5000 ⾏行行代码 10 个单元测试⽤用例例

6. ⼿手⼯工测试+代码覆盖率同⼀一个版本的App安装到多个设备进⾏行行测试不不同版本的App在多个设备中进⾏行行测试代码合并到发布分⽀支后，⽣生成回归包进⾏行行回归 …… …… 功能包A …… ？模块总代码已执⾏行行覆盖率⾸首⻚页 300 ？？购物⻋车 300 ？？设置 200 ？？ …… …… …… …… 功能包N …… 回归包

7. 检测原理理

8. 三种插桩⽅方式 - 源码插桩 - 中间⽂文件插桩 - 可执⾏行行⽂文件插桩 - iOS（OC） LLVM 针对IR插桩 Android Jacoco oﬄine插桩技术，通过ASM修改字节码插桩

9. iOS编译插桩流程源代码⽂文件预处理理程序预处理理⽂文件编译插桩（iOS）汇编⽂文件汇编程序⽬目标⽂文件链接程序可执⾏行行⽂文件

10. 基本块（Basic Block）只有⼀一个⼊入⼝口只有⼀一个出⼝口只要基本块中第⼀一条指令被执⾏行行，基本块内所有指令都会执⾏行行 - 双层扫描：遍历所有函数遍历函数内的基本快 BB1 BB2 BB3

11. 函数中基本块的插桩⽅方法代码⽚片段开始执⾏行行 A if (需要执⾏行行B) 执⾏行行 B else 执⾏行行 C 结束

12. 函数中基本块的计数⽅方法代码⽚片段初始化计数器器 count[] 开始计数器器⾃自增 count[0]++ 执⾏行行 A if (需要执⾏行行B) 计数器器⾃自增 count[1]++ 执⾏行行 B else 计数器器⾃自增 count[2]++ 执⾏行行 C 计数器器⾃自增 count[3]++ 结束 guessNumber=33 1 1 0 0 0 1 1

13. iOS编译插桩环境配置 1 Xcode build 编译配置，启动编译插桩，⽣生成gcno插桩记录⽂文件（记录着插桩位置）

14. iOS编译插桩环境配置 2 通过Build Phases脚本，在编译成功后上传gcno⽂文件 gcno⽂文件格式⽂文件结构源码函数结构 BB 结构 BB ⾏行行结构插桩代码

15. iOS编译插桩环境配置 3 保存gdca数据到⽂文件并上传（gcda由程序执⾏行行后⽣生成）代码⽚片段初始化计数开始计数器器⾃自增执⾏行行 A if (需要执⾏行行B) 计数器器⾃自增执⾏行行 B gcda⽂文件格式基本块标识计数器器信息 count[0]的值 … else 计数器器⾃自增执⾏行行 C 计数器器⾃自增结束 count[1]的值

16. gcda和gcno⽂文件⼀一⼀一对应

17. 系统架构

18. 代码覆盖率平台架构模块数据可视化数据解析基础解析器器增量量解析器器合并解析器器总代码已执⾏行行覆盖率⾸首⻚页 300 300 100% 购物⻋车 300 240 80% 设置 200 0 0% …… …… …… …… 代码执⾏行行信息上传数据采集覆盖率采集源码采集 APP构建 APP 分发 Hook脚本代码插桩 CI App安装 App功能测试

19. 有赞App构建分发平台触发构建提交代码开发构建成功编译插桩(iOS) 字节码插桩(Andorid) 插桩⽂文件和源码打包上传分发下载

20. 覆盖率信息收集 APP构建系统插桩记录源码分发下载 App信息设备类型执⾏行行记录场景： 1 同样的App包，⼀一个设备上可能多次上传覆盖率信息 2 同样的App包安装在不不同的设备上，各⾃自上传覆盖率信息 3 AppID = bundle+branch+commit

21. 覆盖率解析基本覆盖率整体覆盖率周期覆盖率

22. 基本覆盖率应⽤用场景：同样的App包，单个设备会单次上传覆盖率信息数据采集函数名 + 执⾏行行次数基本块标识 + 执⾏行行次数⽂文件路路径函数名 + ⾏行行号代码插桩信息代码执⾏行行记录校验信息基本块结构 + ⾏行行信息覆盖率信息解析 iOS: LCOV Android: Jacoco 单次覆盖率数据⽂文件路路径函数名 + ⾏行行号函数名 + 函数执⾏行行次数代码⾏行行执⾏行行次数 + ⾏行行号

23. 整体覆盖率数据采集应⽤用场景：同⼀一个App包，单个设备会多次上传覆盖率信息同样的App包安装在不不同的设备上，分别上传覆盖率信息代码插桩信息代码执⾏行行记录覆盖率信息解析设备 A 覆盖率数据 …… 设备 N 覆盖率数据整体覆盖率 = 单个App包多设备的覆盖率总和多设备同⼀一个App整体覆盖率数据

24. 周期覆盖率应⽤用场景: ⼀一个开发分⽀支上会有多次提交，⽐比如bug修复多个分⽀支上开发的功能，最后合并在⼀一起发版周期覆盖率 = ⼀一定周期内App所有包的覆盖率总和

25. 周期覆盖率版本 A 覆盖率数据数据预处理理解析覆盖率数据解析增量量代码⾏行行号迁移 …… 版本 N 覆盖率数据覆盖率数据预处理理 CovInfo ⾏行行号分析+迁移程序源码 git diﬀ diffFile 解析Diﬀ diffInfo 版本增量量覆盖率数据合并多版本全量量覆盖率数

26. 解析两端覆盖率数据 CovInfoMap key：/coverageDemo/coverage/hello.c value：List[CovInfo] ⾏行行号：8 ⾏行行号：15 ⾏行行号：20 执⾏行行次数：1 执⾏行行次数：0 执⾏行行次数：1 函数名：main 函数名：fun1 函数名：fun2 …… ⾏行行号：11 ⾏行行号：12 ⾏行行号：17 执⾏行行次数：1 执⾏行行次数：1 执⾏行行次数：0 函数名：空函数名：空函数名：空 ……

27. 解析增量量代码 SourceCode #include<stdio.h> void fun1(); void fun2(); int main(int argc,char* argv[]) { if(argc>1) fun1(); else fun2(); printf(“AAA\n"); printf("BBB\n"); return 0; }

28. 解析增量量代码 DiffFile 改动范围删除代码新增代码 diﬀ --git a/coverage/hello.c b/coverage/ hello.c index bdfdbce..a48a0fb 100644 --- a/coverage/hello.c +++ b/coverage/hello.c @@ -8,6 +8,7 @@ int main(int argc,char* argv[]) If (argc>1) fun1(); else - fun2(); + printf(“AAA\n"); + printf("BBB\n"); return 0; }

29. 解析增量量代码 List<DiffInfo> ⽂文件路路径:/coverage/hello.c Diff 类型：修改⽂文件（增删改重）历史路路径：空（重命名有） List<DiffBlockInfo>：起始删除⾏行行号：11 删除⾏行行数：1 起始增加⾏行行号：11 增加⾏行行数：2

30. 覆盖率信息合并覆盖率A 覆盖率N ？

31. ⾏行行号迁移 A-CovInfoMap ⾏行行号：10 执⾏行行次数：1 函数名：空 List<DiffInfo> ⽂文件路路径:/coverage/ hello.c Diff 类型：修改⽂文件历史路路径：空 List<DiffBlockInfo>：⾏行行号：12 起始删除⾏行行号：11 执⾏行行次数：1 删除⾏行行数：1 函数名：空起始增加⾏行行号：11 ADiff-CovInfoMap ⾏行行号：10 执⾏行行次数：1 函数名：空⾏行行号：13 执⾏行行次数：1 函数名：空增加⾏行行数：2 …… ……

32. ⾏行行号迁移 List<DiffInfo> A-CovInfoMap ⾏行行号：10 执⾏行行次数：1 函数名：空⾏行行号：12 ADiff-CovInfoMap ⽂文件路路径:/coverage/ hello.c ⾏行行号：？？ Diff 类型：修改⽂文件执⾏行行次数：1 历史路路径：空函数名：空 List<DiffBlockInfo>：起始删除⾏行行号：11 删除⾏行行数：1 执⾏行行次数：1 起始增加⾏行行号：11 函数名：空增加⾏行行数：2 ⾏行行号：？？执⾏行行次数：1 函数名：空起始删除⾏行行号：5 删除⾏行行数：2 …… …… 起始删除⾏行行号：18 新增⾏行行数：2

33. 覆盖率合并 AD-CovInfoMap ADiff-CovInfoMap D-CovInfoMap ⾏行行号：10 ⾏行行号：10 执⾏行行次数：1 执⾏行行次数：1 函数名：空函数名：空⾏行行号：13 ⾏行行号：12 执⾏行行次数：1 执⾏行行次数：1 函数名：空函数名：空⾏行行号：10 执⾏行行次数：2 函数名：空⾏行行号：12 执⾏行行次数：1 函数名：空⾏行行号：13 执⾏行行次数：1 函数名：空 …… ……

34. 数据可视化覆盖率报表数据可视化消息推送

35. 案例例分析

36. 覆盖率数据分析⽬目录覆盖率信息 YZHDBalancePaymentViewController 代码⽬目录⽂文件覆盖率 YZHDBalancePaymentViewController.m

37. 覆盖率异常代码覆盖率异常

38. 增量量覆盖率异常？

39. 覆盖率的意义覆盖率⾼高 != 测试质量量⾼高覆盖率异常 ~= 场景漏漏测（边界和分⽀支）+ 代码冗余

40. 规划开发⾃自测的质量量评估和提交限制 Code review的辅助信息更更多维度的数据分析报告

41. QA