看得见的质量——质量罗盘
如果无法正常显示，请先停止浏览器的去广告插件。
1.
2. 质量量罗盘⏤看得⻅见的质量量
朱媛媛
汽⻋车之家
3. 个人人简介
s
e
T
H
r
te
e
om
朱媛媛
e
m
2008年年毕业，进入入测试领域；
o
rH
2015年年加入入汽⻋车之家，BU质保团队负责人人；
e
t
s
Te
专注领域：质量量体系建设、推动质量量内建、工工程化建设、
精益产品研发；
e
t
s
Te
o
rH
e
m
3
4. 01 为什什么要度量量
录 02 度量量四步曲
CONTENT 03
目目
e
t
s
e
T
04
质量量罗盘
效果心心得
o
rH
e
m
5. 智慧网网销业务全景图
业务开发
组
业务算法
组
o
rH
大大数据-ASR
e
t
s
Te
e
m 运营商(百益、三地
大大数据-用用户画像
等)
6. 智慧网网销业务现状
e
t
s
Te
o
rH
e
m
7. 1
为什什么度量量
8. 这些年年，我们面面临的场景
e
om
• 产品抱怨线上质量量差，技术团队问题多。。。。。。
• 产品抱怨技术团队响应不不够，需求积压。。。。。。
H
r
te
s
e
T
e
m
• 团队每天都很忙，但别人人不不知道团队在忙什什么。。。。。。
• 需求来的频繁，频次无无规律律，来了了就要求尽快上线。。。。。。
• 开发抱怨需求变更更太随意，不不利利于稳定交付，被忽视。。。。。。
• 测试向开发反馈，bug多质量量差，开发不不重视。。。。。。
• 测试抱怨需求变更更没有通知，被忽略略。。。。。。
e
t
s
Te
o
rH
e
t
s
Te
o
rH
e
m
8
9. 我们希望
s
e
T
H
r
te
e
om
推动问题
得到改善
看到背后
根本原因
可视化
e
t
s
Te
信息透明
度量量
o
rH
e
m
e
t
s
Te
o
rH
e
m
9
10. 分享思路路
H
r
te
e
om
2015 年年
s
e
T
当前现
状
2016 年年
e
t
s
Te
重点解决问题
2017 年年
o
rH
e
m
2018 年年
技术团队发展不不同阶段
改进措
施
观测数据/度量量指标
e
t
s
Te
o
rH
e
m
11. 2
度量量四步曲
12. 2015年年：开始建立立质量量度量量
当前现状
• 没有需求文文档，口口
口口相传；
• 需求变更更，测试被
忽略略；
• 提测质量量差，线上
质量量差；
• 上线时间⻓长；
• 开发返工工情况较
多；
• 产品抱怨线上问题
多；
• 产品抱怨需求积
压；
H
r
te
s
e
T
e
om
重点解决问题
• 三方方需求理理解一一
致；
• 变更更及时同步三
方方；
• 影响范围、技术实
现提前讨论，减少
返工工；
• 看到提测质量量；
• 看到线上质量量；
e
t
s
Te
改进措施
•
•
•
•
观测数据
需求评审会
迭代总结会
bug分析会
试点测试用用例例
驱动开发
o
rH
e
m
•
•
•
•
需求评审率
需求变更更次数
冒烟测试通过率
线上严重bug率
e
t
s
Te
o
rH
e
m
bug率=bug数/开发人人数 （一一定周期内的人人均bug数）
12
13. 2015年年：开始建立立质量量度量量
s
e
T
H
r
te
e
om
e
t
s
Te
o
rH
e
m
e
t
s
Te
o
rH
e
m
13
14. 2016年年：开始质量量内建&工工程建设
当前现状
e
om
重点解决问题
H
r
te
• 需求混乱情况得到改
善；
• 提测质量量差；
• 线上质量量差；
• 测试时间是开发时间
的一一半；
• 测试资源是瓶颈；
• 线上时间⻓长；
s
e
T
• 提高高代码质量量；
• 解决测试瓶颈；
• 缩短上线时间；
e
t
s
Te
改进措施
观测数据
• 推广广测试用用例例驱
动开发80%团
队；
• 静态代码扫描；
• 单元测试培训；
• 接口口自自动化；
• 自自动发布系统；
o
rH
e
m
线上严重bug率
线下bug率
需求用用例例覆盖率
用用例例复验通过率
静态代码质量量（圈复
杂度、重复度等）
• 单元测试case数
• 接口口自自动化case数
•
•
•
•
•
e
t
s
Te
o
rH
e
m
测试用用例例驱动开发：需求用用例例覆盖率+用用例例复验通过率+线下bug率；
14
15. 2016年年：开始质量量内建&工工程建设
s
e
T
H
r
te
e
om
e
t
s
Te
o
rH
e
m
e
t
s
Te
o
rH
e
m
1
16. 2017年年：持续质量量内建&工工程建设
当前现状
e
om
重点解决问题
H
r
te
• 提测质量量改善；
• 线上质量量可控；
• 需求缺乏规划，存
在很多浪费；
s
e
T
• 持续巩固内建；
• 提高高要求，关注线
上性能、可用用率；
• 尝试解决产品无无规
划、浪费问题；
e
t
s
Te
数
率
改进措施
• 测试用用例例驱动
开发落地整个
技术团队；
• 静态代码扫
描；
• 单元测试；
• 接口口自自动化；
• 精益产品研发
培训+试点；
o
rH
线上严重bug
观测数据
e
m
线下bug
• 线上严重bug率
• 全部bug率
• 静态代码质量量（圈
复杂度、重复度
等）
• 单元测试覆盖率
• 接口口自自动化覆盖率
e
t
s
Te
全部bug
o
rH
e
m
16
17. 2018年年：常态化质量量内建&工工程建设
e
om
需求评审率
H
r
te
需求变更更次数
s
e
T
bugs
需求用用例例覆盖率
冒烟测试通过率
重复块
漏漏洞洞
坏味道
复杂度
线下bug率
可用用率
用用例例复验通过率
e
m
单元测试case数
线上严重bug率
o
rH
单元测试覆盖率
e
t
s
Te
接口口自自动化覆盖率
线上接口口性能
接口口自自动化case数
线上⻚页面面性能
e
t
s
Te
o
rH
e
m
17
18. 2018年年：常态化质量量内建&工工程建设
当前现状
e
om
重点解决问题
H
r
te
• 各种指标看起来不不方方
便便；
• 不不同开发组之间不不好
比比较质量量好坏；
• 通过数据发现的问
题，需要人人肉肉反馈跟
踪，不不及时；
s
e
T
• 整合各项数据，建立立
评价体系，通过一一个
质量量分来简单、全面面
评价；
• 搭建平台，聚合数
据，查看趋势；
• 各项指标，通过配置
规则，自自动触发报警
或提醒，通过数据趋
势驱动改进；
e
t
s
Te
改进措施
观测数据
• 质量量罗盘；
• 自自动预警系统；
o
rH
e
m
• 质量量罗盘指标
• 各项预警信息
e
t
s
Te
o
rH
e
m
18
19. 3
质量量罗盘
20. 质量量模型
H
r
te
s
e
T
e
om
McCall质量量模型(1977)
e
t
s
Te
o
rH
e
m
ISO9126质量量模型(1993)
e
t
s
Te
o
rH
e
m
ISO25010质量量模型(2011)
20
21. 质量量罗盘
s
e
T
H
r
te
e
om
e
t
s
Te
o
rH
e
m
e
t
s
Te
o
rH
e
m
21
22. 质量量罗盘
s
e
T
H
r
te
e
om
e
t
s
Te
o
rH
e
m
e
t
s
Te
o
rH
e
m
22
23. 质量量罗盘
e
om
难点一一：不不同维度，不不同数量量级的数据如何聚合？
H
r
te
质量量维度/权重
正确性（50%）
s
e
T
可维护性（10%）
可测性（30%）
指标
常态值 质量量分（百分制）
线上S2以上bug率（70%） 0.02 90
线上(S3+S4)以上bug率（30%） 0.2 千行行行代码复杂方方法数（20%） 0.2 千行行行代码重复块（20%） 2
千行行行代码坏味道（20%） 10
千行行行代码Bugs（20%） 0.2
千行行行代码漏漏洞洞数（20%）
线下bug率（70%）
2
单测覆盖率（30%）
24%
对内接口口（25%）
性能（5%）
对外接口口（25%）
质量量分
500错误数/每百万PV（100%）
80 e
m
72
69
87
68
59
95
40
0%~60%
60
1200ms 75
3000ms 89
400个 70 ？ 81.4
180ms
对内⻚页面面（25%）
百分制
0.2~0.0
70
500ms
对外⻚页面面（25%）
可用用性（5%）
e
t
s
Te
0.1
o
rH
线性转换
零分线/百分线
100 × (1 −
100 ×
e
t
s
Te
0.02
)
0.2
24%
60%
o
rH
e
m
零分线：基于以往现状，历史数据由好到差排序，最差的10%舍弃，确定为底线；
23
24. 质量量罗盘
难点二二：不不同项目目的数据如何聚合到一一个开发团队？
s
e
T
H
r
te
e
om
e
t
s
Te
• Bug相关（3个）：以开发组为单元，不不区分项目目；
• 静态代码质量量（5个）：
o
rH
•
•
e
m
Σ某指标
– 每日日= 1000 ×
– 每月月=最后一一日日数据；
Σ代码行行行数
单测覆盖率（1个）：
Σ已覆盖
– 每日日=
– 每月月=最后一一日日数据；
Σ应覆盖
e
t
s
Te
o
rH
e
m
性能（4个）+可用用性（1个） ：
–
–
–
每个站点转换到百分制；
每天所有站点平均；
每月月取平均；
24
25. 质量量罗盘
s
e
T
H
r
te
e
om
e
t
s
Te
o
rH
e
m
e
t
s
Te
o
rH
e
m
25
26. 质量量罗盘
s
e
T
H
r
te
e
om
e
t
s
Te
o
rH
e
m
e
t
s
Te
o
rH
e
m
26
27. 自自动预警系统（数据自自驱动闭环)
s
e
T
H
r
te
e
om
e
t
s
Te
o
rH
e
m
e
t
s
Te
o
rH
e
m
27
28. 自自动预警系统（数据自自驱动闭环)
s
e
T
H
r
te
e
om
e
t
s
Te
o
rH
e
m
e
t
s
Te
o
rH
e
m
28
29. 4
效果心心得
30. 效果
质量量稳步提升
s
e
T
H
r
te
e
om
e
t
s
Te
o
rH
e
m
e
t
s
Te
o
rH
e
m
30
31. 效果
e
om
不不同组可以比比较，起到标杆作用用，引导改善
s
e
T
H
r
te
e
t
s
Te
o
rH
e
m
e
t
s
Te
o
rH
e
m
31
32. 效果
⻆角色色职责变化
H
r
te
2015 年年
s
e
T
开发测试比比
开发
质保
e
om
2017 年年
2016 年年
4：1
5：1
o
rH
e
m
7：1
e
t
s
Te
依赖测试同学测试 关注自自己己的代码质量量
做不不完的功能测试 测试左移
2018 年年
8：1
e
m
自自己己保证代码质量量
e
t
s
Te
o
rH
测试右移
33. 心心得
e
om
• 聚焦当下主要问题，确定观测指标，数据先行行行；
• 低成本收集展现数据，形式不不重要；
H
r
te
s
e
T
• 指标根据团队状态，持续迭代；
• 数据自自驱动实现闭环，加快反馈；
e
t
s
Te
o
rH
e
m
e
t
s
Te
o
rH
e
m
33
34. e
t
s
Te
o
rH
e
m