DevOps引领测试效能提升

1.

2.

3. 熊志男  京东科技DevOps平台产品经理  多年研发效能工具开发与落地经验，包含：代码质量、单元测试和持续集成平台等  测试窝社区联合创始人，QECon大会出品人  参与编写《京东系统质量保障实战》并翻译《Selenium自动化测试-基于Python 语言》

4. 01 测试效能的持续提升目录 02 测试的左移和右移 CONTENTS 03 DevOps引领测试变革 04 DevOps平台开放之路

5. 01 测试效能的持续提升

6. 测试效能度量指标绝对数量相对数量线下质量测试效率线上质量测试用例数量平均缺陷解决时长线上缺陷数量缺陷数量平均缺陷验证时长线上性能指标有效测试用例比率测试研发周期占比平均故障检测时间测试覆盖比率自动化测试比率平均故障恢复时间线下缺陷密度自动化测试覆盖率平均故障间隔时间缺陷解决率自动化测试执行率系统可用率缺陷逃逸率自动化测试通过率线上缺陷密度

7. 测试效能度量的一些坑儿优先采用容易获得的指标仅使用单一维度的指标测试用例数量、缺陷数量自动化测试用例数量指标与个人KPI绑定人工统计的指标测试用例数量、缺陷数量提测通过率、测试周期占比

8. 软件测试并不是体力劳动体力劳动智力劳动

9. 康威定律与质效工具的演变测试团队测试框架测试平台持续测试质效团队

10. 测试框架的演进 1. 无框架：线性自动化测试脚本 2. 模块化自动化测试框架行为驱动 3. 类库结构自动化测试框架 4. 数据驱动自动化测试框架 5. 关键字驱动自动化测试框架 6. 无脚本：自动生成用例的框架混合驱动基于日志生成用例基于流量录制生成用例基于模型生成用例基于代码生成用例

11. 接口自动化测试平台 itest接口自动化测试平台

12. UI自动化测试平台 Cherry引擎

13. 移动端测试平台应用层设备占用应用安装应用管理任务管理远程真机远程操控添加测试任务远程调试设备管理日志查看运行任务应用管理结果统计报告管理脚本管理脚本回放应用上传关联脚本报告管理脚本录制应用下载关联提测应用在线截图脚本管理报告详情脚本编辑服务层 web 服务任务调度实时任务设备管理服务接口服务定时任务 web 接口设备管理设备识别 agent 接口状态更新报告解析接收测试结果接收截图设备状态管理脚本文件 apk文件连接守护日志 server 控件树过滤重组执行自动化测试投屏 server 控件树server 报告文件视频流转码执行操作命令 websocket server 解析结果，组装报告静态资源管理设备状态管理无线连接数据处理拉取任务解析脚本执行步骤上传结果工具支撑层移动端 http 服务控件树获取录制屏幕 pc端执行操作单点登录单点登录设备授权爬虫服务开启wifi 连接市场名爬取手机市场图片爬取

14. 避免过于庞大的自动化测试平台不要做被平台奴役的“工程师”

15. 02 测试的左移和右移

16. 测试左移方式的演进

17. 开发阶段的质量指标定量指标定性指标代码违规数量代码复杂度代码评审通过率代码技术债单元测试覆盖率代码评审覆盖率稳定性可测试性可维护性提测通过率

18. 测试左移的检查方式

19. 静态代码分析  Abstract interpretation  代码缺陷  安全风险  代码规范  Dataflow analysis  重复代码  Model checking  代码架构  Symbolic execution  代码复杂度

20. 代码复杂度检查代码的方法复杂度高：难以理解、容易产生bug、难以测试

21. 动态执行检查代码结构

22. 配置依赖检查编号规则类型规则描述 1 依赖包是否可为SNAPSHOT版本生产禁止使用SNAOSHOT版本 2 Jar包黑名单如fastJson需要升到1.2.60以上 3 依赖冲突检查依赖冲突检查 4 groupId规范 com.jd等 5 version规范 1.0.0 6 Packaging类型 jar、pom、war等 7 插件白名单 Maven-javadoc-plugin、maven- source-plugin等 8 重复类检查重复类检查 9 资源文件白名单资源文件白名单

23. 单元测试单元测试与集成测试单元测试框架

24. 冒烟测试的演进开发演示功能测试执行自动化用例测试准备冒烟测试用例，开发手工执行提测事件触发冒烟测试自动执行测试准备自动化用例，开发执行

25. 测试右移的技术实践金丝雀版本混沌工程链路测试 A/B测试测试右移线上监控用户体验分析

26. 混沌工程的五大原则 01. 建立稳定状态的假设。 02. 用现实事件做验证。 03. 在生产环境中进行实验。 04. 自动化试验。 05. 最小化爆炸半径。

27. 测试左移和右移动的经验之谈打铁还需自身硬：重视测试环境质量从解决痛点入手：尽量少为开发增加额外负担避免重复造轮子：多使用成熟的开源工具

28. 03 DevOps引领测试变革

29. DevOps的收益：打破部门墙

30. DevOps的收益：打通工具链 DevOps工具链协同开发构建测试发布运维需求管理代码仓库多语言构建测试过程自动部署系统监控敏捷看板云端IDE 制品库测试用例资源管理日志系统项目管理代码扫描流水线缺陷管理配置管理 DB管理任务工时变更管理质量卡点接口测试发布流程故障告警测试环境灰度策略故障演练单元测试测试数据测试MOCK

31. DevOps的收益：研发过程可视化需求分析需求交付周期软件开发开发时长软件测试软件部署软件监控代码评审率测试用例数量缺陷逃逸率部署时长服务端系统调用量交付吞吐量代码库数量单元测试覆盖率有效测试用例自动化测试比率执行成功率部署失败率调用成功率需求停留时长代码提交数代码扫描结果缺陷数量自动化测试失败修复时长部署频率可用率需求状态代码提交频率构建频率缺陷密度平均测试交付时长部署前置时间性能需求颗粒度圈复杂度平均缺陷解决平均自动化时长执行率需求评审通过率代码重复度构建时长构建成功率提测成功率资源利用率客户端软件崩溃率

32. 消除瓶颈：不同阶段的效能提升需求阶段开发阶段测试阶段发布阶段 “不确定性”在逐步减小，找到效能提升破局点

33. 内建质量：构建高质量的软件系统 “缺陷修复成本”在逐步增加，设置卡点，全程质量保障。

34. DevOps驱动测试变革工具开发质量管理全程测试低代码自动化团队职责扩展工具服务化测试智能化持续测试

35. 测试智能化实践

36. 04 DevOps平台开放之路

37. 统一DevOps平台面临的问题统一DevOps平台统一平台门户、固定的流程、一致性的标准定制化诉求不同团队DevOps成熟度不同不同角色用户不同要求迭代变慢不同类型用户之间的需求博弈运营成本高用户咨询和支持的工作量大测试场景覆盖不全不能覆盖所有测试场景工具

38. 平台开放策略 DevOps开放平台 01 开放平台入口 02 接口和数据开放 03 流程和标准定制 04 测试工具共建

39. 工具共建：提升整体测试效能

40. END