京东到家自动化测试平台的探索与实践

原创蔡光迪刘慧卿达达集团技术

一. 引言

二. 维护测试用例

2.1 HTTP流量复制

2.2 微服务流量复制

2.3 自动生成种子用例

2.4 收益评估

三. 自动化回归测试

3.1 接口自动化

3.2 流程自动化

3.3 回归机制

四. 提升测试质量

4.1 代码覆盖率

4.2 设置质量门禁

五. 总结及其它

5.1 总结

5.2 展望

5.3 附录

一、引言

效能提升一直是个火热的话题，特别是在互联网行业，由于产品更新迭代快、业务准确性要求高等因素，使得测试的难度和压力激增，当下测试人员最直观的感受是时间紧任务重。如何在跟上产品迭代节奏的前提下，还能保证产品的交付质量，是我们当前遇到的最大挑战。精卫（自动化测试平台）就在这样的环境下应运而生。

精卫系统是致力于研发体系的数字化建设，其核心是提升我们整体的研发效率。从流程的标准化作为起点，并进行研发流程全链路数字化建设，将各个流程痛点问题的解决方案工具化，以点带面往自动化的方向推进。为开发，测试，运维等相关人员提供数字化技术支持，为各类决策提供判断依据，为降本增效提供抓手。

在测试过程中，我们可能经常面临以下的困扰：

用例维护成本高

接口文档信息不准确
微服务接口入参组装麻烦
HTTP接口用例录入耗时长

回归测试效率低

入参有效性周期短
要回归的用例数量多
人工参与，成本高
回归次数频繁，占用大量时间

测试质量难以保证

研发提测质量差，测试效率低
黑盒测试为主，代码逻辑覆盖不全
测试质量难以量化，线上漏测率高

本文将围绕着测试工作中的以上几个核心痛点问题来进行阐述，重点介绍一下我们的一些解决方案和实践心得。

二、维护测试用例

把日常的业务的请求入参和出参记录下来，我们称之为流量复制。复制下来的请求经过简单的清洗就可以很方便的用于二次回放，常见的压力测试和回归测试都可以通过这种方式来实现。

通过流量复制这种方式可以快速的获取到大量的种子用例，这会大大的降低用例的构建和维护成本。那么如何进行流量复制呢？接下来将按照服务的类型，来介绍两种技术方案：HTTP类型服务的流量复制和微服务的流量复制。

2.1 HTTP流量复制

HTTP服务的流量复制可以通过一些代理工具来实现。Mitmproxy是一款免费、开放的基于Python开发的交互式HTTPS代理工具。它可以用来捕获HTTP/HTTPS请求，支持抓包、断点调试、请求替换、构造请求、模拟弱网等功能。

工作原理如下：

流量复制的实现具体可以分为以下几个步骤：

1. 在电脑或手机端配置Mitmproxy代理服务器地址，此时电脑或手机的所有请求都通过代理服务器进行请求发出，当请求响应结束后，代理服务器识别出我们需要拦截的请求，并将请求和响应结果转发到我们的自动化测试平台；

2. 测试平台收到代理服务器转发过来的请求和响应结果后，会将数据按照服务维度进行分类，作为初步的种子用例，持久化到数据库中；

3. 测试人员依据种子用例，转换成正式的测试用例；

下图代码片段是按域名截取数据后，整合平台所需要的数据和数据格式：

效果展示

2.2 微服务流量复制

微服务的流量复制我们是通过自研客户端+配置采集规则来实现的。

规则配置

交互逻辑

具体实现步骤如下：

1. 管理端配置服务的采集规则；

2. 客户端定时拉取采集规则；

3. 符合采集规则，则将请求入参和出参写入本地文件；

4. 客户端定期上报流量采集内容到精卫平台；

5. 按照服务，时间段等维度圈出要回归的流量用例，生成回归任务；

6. 执行任务，进行流量回放；

7. 生成流量回放的测试报告；

如果之前没有维护过测试用例，也可以通过开启流量复制功能来快速的实现回归测试；

总之，通过流量复制，将线上的真实流量引入到灰度测试环境中进行回放，不仅能够降低人工参与的成本，还可以更加真实的还原线上场景，使问题更加高效客观的呈现。

2.3 自动生成种子用例

在用例维护过程当中，如何快速生成一个正确的样本示例是我们经常面临的问题。为了解决这个问题我们搭建了API接口文档管理平台。这个平台目的主要是将服务定义元数据进行实时的线上化管理，可以随时可查看各个部署版本的接口定义元数据（包括版本、入参、类型、格式、示例等）。基于线上化的接口定义智能生成最新的入参结构，支持微服务和HTTP等协议。

在创建用例时，精卫平台会拉取服务的方法和接口定义的相关信息（入参定义，出参定义，参数示例），解析参数结构，快速生成种子用例，提高新用例的创建效率。

一个完整的新用例的创建过程如下：

1.选择所需的种子用例；

2.调整入参数据；

3.补全用例名称、用途等信息；

4.设置断言检查点等信息；

2.4 收益评估

1. 测试人员不需要再进行抓包，查日志来获取自动化测试数据，减少了30%左右用来创建测试用例的时间；

2. 可以实时获取最新的接口定义元数据，避免了接口定义的不准确性，同时降低了线下跟研发获取接口定义的时间成本；

3. 通过预设的断言配置，用例执行结果的正确性检查借助平台实现了自动化，大幅度提升了测试效率；

三、自动化回归测试

精卫平台的自动化回归测试分为接口自动化和流程自动化两个维度。下面将从这两个部分来介绍。

3.1 接口自动化

接口测试是测试系统组件间接口的一种测试方式，主要用于检测系统内部、系统间的交互点，常作为功能测试的基本单元。

接口自动化就是将一批接口测试用例打包并自动执行，以达到节省人力、时间、资源成本，快速验证回归测试服务正确性，提升测试效率的目的。

3.1.1 设计方案

自动化回归测试依托于持续集成部署平台，当服务部署发布后，借助api接口文档管理平台，可以自动识别出变更的服务方法，触发自动化回归测试任务，自动回归有代码变更方法的用例。

3.1.2 执行过程

1. 用例录制：接口自动化回归的前提条件是已经拥有了测试用例；

2. 圈定回归范围：同一接口的测试用例按照用途会分为多组，比如：单元测试用例，回归测试用例，压测用例等，圈定出录制的回归测试用例；

3. 创建回归测试任务：支持全量/增量回归，全量回归可以进行代码覆盖率的统计；

4. 执行回归测试任务：当服务部署后，自动触发回归任务的执行；

5. 生成测试报告：任务用例执行完成后，会生成一份测试报告，报告中含用例通过率、代码覆盖率、问题处理建议等信息；

3.1.3 成果收益

接口自动化测试减少了测试的执行时间，降低了回归测试的实现门槛，有效的缩短了产品交付周期，测试人员有更多的时间和精力投入到产品业务本身上面去。

3.2 流程自动化

速搭平台是京东到家为研发和测试人员提供的一站式服务发布平台，其核心是通过我们现有能力（微服务或http服务）的再次加工(编排)，形成新的能力，精卫平台借助此能力实现流程自动化测试。

3.2.1 设计方案

业务架构图

3.2.2 执行过程

1. 构建步骤：步骤是组成流程的最小执行单元，单个步骤可以理解为一个服务；

2. 构建流程：把各个步骤按照业务逻辑编排起来构成流程；

3. 设计流程用例：定义流程入参、设置断言，创建流程用例；

4. 构建流程任务：按照业务圈定要执行的流程用例，以任务的方式集中执行；

5. 执行流程任务：支持手动触发和定时执行等方式，以达到回归或巡检的目的；

6. 任务执行报告：通过率、代码覆盖率、执行结果日志等报告信息，如有异常情况发送告警通知。

3.2.3 成果收益

1. 已经初步完成核心场景的全覆盖自动回归，在需求迭代效率上有了很大的提升；

2. 流程测试与用户真实操作更相近，可以更好的站着用户的角度验证产品，利用黄金流程的实时巡检机制，系统在稳定性方面也得到了更好的保障；

3.3 回归机制

不同的场景下回归的机制会有所不同。比如：

测试人员可以针对提测的服务进行手动一键回归；
针对于核心业务场景，支持定时回归等各种方式；

3.3.1 一键回归

研发发起提测后，针对圈定的服务和方法可以进行一键全量/增量的回归测试。

3.3.2 自动回归

自动回归测试的触发方式有部署后自动回归，线上的定时巡检等场景。

1. 日常巡检

平台支持cron表达式，对多任务、多用例进行定时执行，并在失败或者异常后进行预警。

2. 应用部署后自动回归

支持全量和增量回归。应用部署后，对API文档变更的内容进行自动回归、生成测试报告，在失败或者异常时进行预警。

四、提升测试质量

测试质量的把控可以从技术和流程两个方面来考虑，技术层面主要依赖于度量指标的提升（用例通过率，代码覆盖率等），流程方面可以通过设置质量门禁等方式来保证提测质量。

4.1 代码覆盖率

代码覆盖率是软件测试中的一种度量，描述程序中源代码被测试的比例和程度，所得比例称为代码覆盖率。

平台实现原理：

实现方式可参照另一篇文章：《精卫系统-代码覆盖率实现之路》

4.2 设置质量门禁

根据测试金字塔模型，我们知道问题越早暴露，解决问题的成本越低。单元测试的充分性是提高整个测试效率的关键，设置质量门禁（单元测试通过率）是保证提测质量的重要手段。如何设置质量门禁的呢？我们具体来看一下整个提测流程：

1. 维护单元测试用例：研发维护服务的单元测试用例；

2. 圈定提测范围：研发选择要回归的服务列表；

3. 生成单元测试任务：根据圈定的服务列表，筛选出对应的单元你测试用例，生成单元测试任务；

4. 执行测试任务：批量执行单元测试用例，达到设置的门禁标准（通过率，覆盖率等）才可进入测试环节；

5. 进入测试流程：达到提测标准后，进入正式测试环节，测试人员针对提测服务和测试重点进行针对性的测试。

五、总结及其它

5.1 总结

精卫平台作为实现持续集成/发布（CI/CD）的基础设施，其目标是保证代码具备随时可以发布到线上的良好状态，维持团队的持续交付能力。另外，平台在效率提升方面也取得了显著效果：

5.2 展望

软件度量是对软件开发项目、过程、及其产品进行数据定义、收集以及分析的持续性量化过程。通过软件度量可以改进软件开发过程，促进项目成功，开发高质量的软件产品。平台将继续对整个产品交付过程中的指标数据进行整理、挖掘，发现过程中存在的问题和短板，优化和反哺产品交付流程，在效率和稳定性等方面获得更大的突破。

5.3 附录

平台架构

核心流程

继续滑动看下一个