客户端自动化测试在网易云音乐的实践与落地

原创吕雨强网易云音乐技术团队

一、背景

时间线回到 2021 年。

云音乐目前版本双周迭代，在集成测试阶段会花费两天时间，在这两天时间里面有相当部分时间是人工进行用例回归，而且目前 UI 自动化现有方案会存在较多问题，导致目前这块的效率和质量均不太理想，而对业务侧又希望能降低业务上线的周期。

目前云音乐每个新版本质量稳定性不是很理想，在前一个版本上崩溃率做到了质量基线，下个版本很可能就快速反弹。

同时伴随着的以下一些痛点:

测试回归人工效率低，目前使用的 appium、smartAuto 等框架均有部分缺陷，主要集中在用例维护成本高、UI 检索稳定性保障难、新版本用例录入不及时、双端一致性难保障、问题回溯定位效率低下等；
自动化测试对于用例和设备调度及管理基本靠人工进行；
冒烟测试等工作没有对应的高效验收机制和服务能力，主要依赖线下沟通；
自动化用例没有统一的调度管理平台，在 tc 用例平台执行用例时，无法精准筛选自动化用例执行，且每次执行结果保存也不直观。

二、Saturn 平台简介

基于上述背景，2021 年下半年云音乐大前端 QA 与公技团队共同搭建 Saturn 平台。Saturn 的核心功能主要包括：

用例录制：手机端操作录制，录制过程记录控件信息、操作信息、埋点信息、截图等扩展信息；
用例管理：录制的用例上传到 Saturn 后，进行维护、分类、放到各自模块以及执行集等；
执行集：定义各自需要执行的用例的集合，方便用例快速执行与制定执行计划；
设备调度：支持私有化部署、支持私有化调度、支持按测试类型调度、支持多 APP 之间调度、支持指定设备调度、支持随机分配设备等；
用例执行：根据执行设置分配执行机，把用例分发到指定 provider 端，provider 根据下发消息调度 Athena/NETestWD 执行自动化；
报告：报告汇总、执行步骤展示及执行截图、手动标记 check、失败原因归类、执行过程录屏与日志；
设备管理：自有设备的上下线、自有设备的用途、自有设备的部署类别；
各个专项，UI 自动化，RN 自动化，启动性能自动化，稳定性测试，覆盖安装等等

接下来，本文讲重点介绍 Saturn 平台设计思路、技术演进，专项，落地成果。

三、Saturn 平台架构

Saturn 平台主要分为

平台端：主要是用户交互、设备管理与调度；
Android provider 端：部署在 mac 或者 pc 上用于 Android 手机的监控、与平台端交互、下发执行自动化任务；
Athena APP：主要用于录制与回放自动化用例、上报用例、上报用例执行结果；
Android 端内置 SDK：辅助 Athena 录制与回放自动化用例、准备用例执行环境（登录、mock、后台环境等）；
iOS provider 端：部署在 mac 上用于 iOS 设备监控、与平台端交互、下发执行自动化任务、维护 WDA、NETestWD 的稳定；
NETestWD：用于启动被测应用、接收用例、上报自动化用例执行结果；
WDA(WebDriverAgent)：处理 iOS 端设备上的系统弹框；
iOS 端内置 SDK：主要用于录制自动化用例、准备用例执行环境（登录、mock、后台环境等）、执行自动化用例；

如下面架构图所示：

四、Saturn 设计原理

4.1 Saturn 平台设备调度工作流程

设备调度工作流程用户执行用例，后台逻辑处理然后入库 history 表、发送 SystemHistory 消息入库 queue 表；SystemHistory 消息消费线程监听 queue 表中 SystemHistory 消息，获取消息后进行处理按照 Android/iOS 设备发送新的消息入库 queue 表；Android/iOS 消息消费线程监听 queue 表中 Android/iOS 消息，获取消息并锁定消息，之后检测可用设备，如果无空闲设备则释放消息，如果有空闲设备通过 websocket 下发消息并删除 queue 表中消息，provider 端接收到消息进行解析，执行自动化用例，执行完成后上报执行结果到平台，平台会更新用例执行结果并释放设备。

设备调度支持私有化部署、支持私有化调度、支持按测试类型调度、支持多 APP 之间调度、支持指定设备调度、支持随机分配设备等；

4.1.1 设备管理页面

4.2 Saturn 平台 Athena 工作流程

Athena 通过 adb 在录制时监听事件，回放时发送时间；通过 Accessibility 遍历节点、获取节点信息；

录制时

Athena 记录操作节点信息、操作信息、埋点信息；

回放时

Athena 通过内置 SDK 快速准备环境，免去大量前置步骤执行；
Athena 优先通过埋点信息确定目标节点，无埋点信息时通过使用多种查找方式遍历多次计算综合得分确定目标节点；
Athena 会自动处理系统弹框，防止弹框对自动化执行的影响。

4.3 Saturn 平台 iOS 内置 SDK 工作流程

录制时

触摸、滚动事件的采集是通过 AOP 的方式进行采集信息，比如点击事件，通过拦截 UIControl 的 sendAction 方法和 UIView 的 addGestureRecognizer 方法，滚动时间通过 hook UISCrollViewDelegate 进行消息转发；
键盘输入、断言事件的采集目前没有很自然的方式，所以都是通过一个交互工具来手动进行录制；

回放时

回放的核心点是 UIAppliction 的 sendEvent 方法，sendEvent 方法是触摸事件分发的入口，回放时通过构造 UIEvent 再通过 sendEvent 方法进行事件分发；
快速环境准备，免去大量前置步骤执行；
执行时会优先使用埋点信息确定目标节点，无埋点信息时通过 xpath 定位的方式确定目标节点。