测试右移：基于接口自动化测试的首页数据质量评估

摘要

遇到的问题

1. 业务和技术部门之间平平无奇的某一次对话

老板：首页上的某某商品在APP中点了没有任何反应呢？

研发：运营在配置商品时，选择了自定义跳转，但跳转的链接没有配置数据。

产品：我们联系下运营同学修改下配置。

运营：收到，我们马上处理。

测试：现在已经好了，点击商品可以跳转到商品详情页了。

2. 业务和技术部门之间平平无奇的又一次对话

产品：首页上点击某个活动后页面报错了。

研发：这个活动页配置的链接前面多了两个无关的字符，导致链接无法打开。

运营：多余字符已去掉，但在Android中还是打不开，iOS可以。

研发：这个活动页链接最前面还多出来一个空格。

运营：额，那我再修改下链接。

3. 业务和技术部门之间平平无奇的再一次对话

测试：线上某某活动页里商品都售罄了，好几个门店都是如此。

研发：我们马上排查下。

Two thousand years later ...

研发：后台系统和接口都是正常的，是不是活动配置的商品在这个门店都没库存了？

运营：活动页里面之前配置的商品都售罄了，我们先把链接下掉，更换商品后再重新发布。

数据质量初定义

• 商品的状态

• 是否有售罄的商品，售罄商品在首页中的占比是多少，我们设置的阈值是多少

• 是否有下架的商品，下架的商品是配置的还是推荐下发的

• 商品的价格

• 非会员价，会员价，Plus会员价是否在不同的用户中正常显示

• 首页显示的价格与关联的二级页（比如商品详情页）价格是否一致

• 商品的标签

• 促销标签是否显示，显示的标签是否在二级页中存在

• 推荐标签是否显示，显示的标签是否与二级页中一致

• 活动页是否可以正常打开，打开的速度怎样，有没有特别慢的情况出现

• 活动页是否包含商品，文字，图片等内容，是否只是一个空白页或者只有兜底的图片

• 活动页中商品的状态是怎样，其中是否会显示下架的商品，售罄的商品占比是怎样

• 活动页中商品的利益点是否展示正确，价格是否和商品详情页中一致

当我们拿到整个首页的数据之后，我们还可以做一些更加深入的数量分析，比如是否有重复配置的数据，重复的数据分布是怎样的，配置的数据和推荐下发数据的重合度有多高，推荐的数据是否符合了一般的排序规则（如价格的升序降序排列，根据销量计算的热力值，根据价格计算的降价幅度等），而这些数据分析的结论有助于我们去帮助运营同学从宏观上把握首页整体的数据情况，从而有针对性的去调整我们首页数据的配置策略，从而达到不断改善运营效果的目的。

自动化测试框架autoPyHome

• 构建动态测试数据

• 公共基础数据，包括用户数据，门店数据等

• 特定测试数据，包括商品数据，活动数据等

• 数据存储使用，支持全局变量，文件读写，Redis等多种形式

• 测试用例的自动化生成

• 动态变化的数据如何动态组装成测试用例

• 动态生成的测试用例如何体现到测试报告

• 接口数据的多层次断言

• 单个断言：除了基础的assert断言，支持console端的coloredlogs日志打印和excel或csv形式的日志文件输出

• 多个断言：重写unittest.TestCase中的assert类，在任意断言结果出现失败时，支持所有断言场景的校验并最终体现到测试报告中

基于上述的一些梳理，我们最终形成了我们autoPyHome自动化测试框架的基本原理以及特点，基本上可以用如下的一张图来概括，详细的内容我们也将在后续的分享会上来做分享。