基于AI算法实现精准测试

1. 360中台-高级效率平台开发工程师基于AI 算法实现精准测试宋泽坤 360中台-效率平台开发高级工程师主办方：

2. 背景及技术挑战

3. 需求背景 1. 敏捷体系中，产品迭代速度比较快（一般为两周），测试人员测试周期比较短，产品影响范围比较大。测试人员在短时间内保质保量，难免会出错。 2. 回归测试需要执行大量的自动化测试脚本，和手工测试脚本，可能会消耗大量的时间。 3. 人工评估测试范围，门槛高，需要一定的代码基础，不同语言的项目，需要的基础也不相同。 4. 用例和函数的对应关系无法反应代码内容的更改，表现为新增，修改，删除。

4. 技术挑战精准测试需要采集代码和用例之间的关系，根据代码变化的内容，推算出回归测试测试的范围和提高自动化测试效率。代码覆盖度统计 Android：开源 Jacoco 二次开发。 Windows: VSPerfCmd,VSPerfMon。 Java 服务端： Jacoco 支持 on- the-fly。用例和代码之间的关系用例重拍 Android：代码覆盖利用精准测试评估功能度实时统计。回归测试范围和提高自 Windows: 单个任务分动化测试效率。发统计。

5. 实现方案

6. 精准测试完整步骤模型,部署预测搭建网络搭建网络模型，训练分类特征工程根据采集的关系数据, 提取数据建立关系建立用例和代码之间的对应 S1 关系，收集这些关系数据。 S2 特征。 S3 函数 S4

7. Android 整体架构-自动化用例服务端 Android APK 用例服务 Case 1 代码覆盖度统计执行采集数据上传 Jacoco Web 界面展示覆盖度数据处理完整case 数据模型训练 Case 2 Case 3 APK 源码源码上传对 case 重排推荐代码比对代码 diff 模型预测

8. Android 整体架构-功能用例 APK 源码服务端 Android APK 禅道用例系统 Case 1 代码覆盖度统计执行采集数据上传 Jacoco Web 界面展示覆盖度数据处理完整case 数据模型训练 Case 2 代码比对 Case 3 上传标记状态代码 diff 对 case 重排推荐模型预测

9. Windows整体架构-C语言数据采集器代码覆盖度统计项目代码覆盖度统计用例服务 Case 1 VSPerfCmd.exe 执行服务端数据 Case 2 XML VSPerfMon.exe 覆盖度数据处理数据模型训练 Case 3 XML Case 2 Case 3 Case 1 XML 代码比对项目源码对 case 重排推荐 Web 界面展示 diff 模型预测

10. 数据采集特别标记配置参数 Android 执行信息 CASE ID DEVICES ID Windows 执行信息 Case 唯一标识 Case 唯一标识设备唯一标识代码所属文件名 APP MD5 APK 唯一标识项目运行环境 USER ID CASE ID 用户唯一标识 FILE NAME 运行环境

11. Android 代码实时覆盖度统计优点集成简单：减少不必要的集成逻辑，方便快捷的集成到项目中。无代码入侵：在代码统计的过程中，不允许因为插件集成而增加代码逻辑。代码实时统计：划分最小的统计单位，精准对应。

12. Android 代码实时覆盖度数据统计队列服务端 EC DATA Android 实时覆盖度统计插件反射 rundata Jacoco 插件 TCP/IP EC DATA EC DATA 覆盖度数据处理

13. Java 文件和 class 文件对结果的影响 Java 文件统计结果展示结果准确，获取文件困难。 Class | APK 文件 1. 反编译后，代码有差距。 2. 对界面展示有影响。

14. 代码实时覆盖度统计-服务端 Java 文件 CASE ID EC EC 统计行号和代码的映射关系整体覆盖度指标 + 源码行覆盖数据 Jacoco 解析单个EC覆盖代码信息 + 源码行覆盖数据 websocket 用例代码映射关系数据页面展示

15. 用例和代码对应 – Android自动化用例选择用例脚本创建测试任务完成 case 执行开始执行case 标记case 结束测试计划获取数据并上传

16. 用例和代码对应 – Android功能用例（禅道）选择测试用例创建测试任务开始执行case 完成 case 执行标记当前选择的case 标记当前执行完毕的case 获取数据并上传

17. 用例和代码对应 – Windows自动化用例选择测试用例创建测试任务标记当前选择的case 完成 case 执行开始执行case 采集代码数据生成 XML 文件

18. 为什么精准测试需要使用AI算法类与类存在一个调用关系，函数和函数之间也存在调用关系，在修改的代码片段中，我们可以根据这种模糊的调用关系，来计算出代码之间一个相似性，从而推算出相关的用例。而这种计算方式，也是传统编码所达不到的。

19. AI 模型-数据特征结构划分非结构化数据结构化数据类路径类名函数名函数描述文件名代码特征代码片段

20. 结构化数据处理单个特征 e.g. 分类，转换归一化 com/xxx/A 1 0.1 com/xxx/B 2 0.2 不存在 com/xxx/C 0 0

21. 结构化数据处理特征可拆分拆分 e.g. com/xxx/A 不存在com/xxx/C 分类，转换归一化类名 com/xxx/A 包名 com/xxx com/xxx com/xxx 0 0

22. 结构化数据处理全局特征纵向特征组合唯一特征向量化 e.g. [String,Boolean,int,Object,未知] 组合 [0,0,0,0,0] 函数A参数类型：String , Boolean, int [1,1,1,0,0] 函数B参数类型：String ,Object, int [1,0,1,1,0]

23. 非结构化数据处理 NLP 代码片段 Jieba_fast LDA pkuseg word2vec 分词

24. 非结构化数据处理-分词 Stopdict 特殊符号：‘=’，‘:’，‘>’，‘,’，‘;’，‘{’，‘}’，‘’’，…… 关键字：class，and，if，else，Exception，public，单字母的词 …… Userdict 特殊符号：‘||’，‘&&’，‘+=’ ……

25. 非结构化数据处理-NLP 同一模型需要保持相同语言处理算法。 LDA 单词数组转换句子 word2vec 单词数组单词词向量 size = 50 抽取话题 topicNum = 8 相对位置求平均模型保存模型保存

26. 标签处理整个问题是一个多分类的问题，不同的用例可能存在相同的特征，在预测用例的时候，需要把与之关联的用例全部推荐出来。多标签转换分类：可以把相同特征的标签重新组合成一个新的标签，把多标签分类的问题转换为单标签分类的问题。

27. 模型训练项目 A 代码特征数据版本 1 CASE ID 新标签 XGBT 版本 2 其他特征集合特征集合 CNN

28. 模型预测用户请求 TCP/IP 代码特征数据模型服务数据来源（版本信息，项目名称）根据数据来源加载模型 DIFF DATA 训练数据对diff 数据赋值操作返回 JSON 带入模型 RESULT

29. 模型结构图

30. 应用效果

31. Web页代码覆盖度展示-节点覆盖

32. Web页代码覆盖度展示-代码覆盖

33. 原始数据展示

34. 原始数据展示

35. 推荐功能用例的召回率统计功能召回率 100% 100% 100% 100% 100% 58.69% 63.04% 65.21% 89.13% 100% 90% 90% 80% 100% 70% 70% 60% 50% 40% 30% 20% 20% 10% 0% 0% 0% 4.34% 32.60% 41.30% 用例比例

36. 自动化用例节约成本效能提升测试专家 100% 100% AI精准测试 100% 99% 100% 89% 12.50% 精准测试时间消耗 20% 项目了解程度自动化脚本执行时间预估精准度

37. 扩展和优化方向

38. 语言方面的扩展这套模型现阶段只是初步的实现了一部分的功能，当前模型可以在各种语言之间进行扩展，比如 IOS, PYTHON, PHP….. 智能化生成用例 1. 基于函数步骤对应关系的统计，通过统计函数执行步骤，来规划出当前用例的调用图，统计出当前的用例步骤，生成新的用例。 2. 基于用例步骤的数据统计，根据代码的 diff 数据，分类用例步骤，生成新的用例。

39. 优化方向增加抽象语法树, 控制流, 数据流等结构化数据特征, 提高精准度。优化网络结构。跨语言的特征限制。

40. 谢谢观看