研发效能度量体系

1. 【第28期】安居客质量保障体系沙龙

2. 【第1讲】研发效能度量体系分享嘉宾：郑紫薇- 高级测试经理

3. 背景研发效能：快速持续交付价值的能力 1 如何去了解、度量团队的研发效能？核心目标背景高效率、高质量、 2 持续地交付有效的如何有效的提升研发效能？价值 3 如何进行过程管理和持续改进？

4. 背景 “It you can’t measure it, you can’t manage it” “你如果无法度量它，就无法管理它” 现代管理学之父-彼得·德鲁克 (Peter F. Drucker)

5. 目录 01 度量设计 02 质量度量 03 效率度量 04 过程监控 05 系统介绍

6. 1 度量设计

7. 研发效能度量体系

8. 研发效能度量体系质量效率

9. 研发效能度量体系需求阶段质量效率开发阶段测试阶段运维阶段

10. 度量设计-数据生产代码提交记录（提交的频繁程度、需求和分支关联）项目进入提测的时间点…… 运维阶段开发阶段项目实际的上线时间点需求阶段测试阶段 bug工单的时间点…… 计划工时相关信息、上线时间用例相关信息（用例的提交时间、用例和bug关联的情况）（开发、测试任务的开始、结束时间 bug信息（bug生命周期的各个时间点） …… 点）……

11. 度量设计-数据产生系统

12. 度量设计-数据产生系统

13. 度量设计-数据产生系统

14. 度量设计-采集系统

15. 度量设计-数据加工原始数据度量数据开发工时 Bug数开发bug工时比开发工时测试工时开发测试工时比线上bug创建时间 Bug等级线上bug关闭时间 Bug总数线上bug及时修复率

16. 度量设计-数据加工原始数据各个子任务的开始时间各个子任务的结束时间上线时间需求流转时间点加工数据最早开发开始时间最早测试开始时间计划上线时间最晚开发结束时间最晚测试结束时间实际上线时间度量数据等待开发周期开发周期等待测试周期测试周期研发周期需求周期

17. 研发效能度量体系需求阶段质量效率开发阶段测试阶段运维阶段

18. 研发效能度量体系需求阶段质量开发阶段测试阶段需求bug数 bug工时比延期提测数 Dev bug数 bug工时比线上bug数 bug修复时效评审通过率 bug日清率自测通过率 case覆盖率自动化覆盖率缺陷逃逸率 App Crash率需求变更率人均dev bug数单元测试覆盖率 UI bug数 Bug reopen率服务可用性故障监控发现率交付吞吐量 / 交付响应周期需求数效率运维阶段迭代数等待开发周期开发周期等待测试周期测试周期代码发布频率版本回滚率技术优化数等待开发项目占比开发工时等待测试项目占比测试工时发布时⻓ …… 业务线资源分布 …… 开发测试工时比异常项目

19. 研发效能度量体系需求阶段质量开发阶段测试阶段运维阶段度量对象需求bug数 bug工时比延期提测数 Dev bug数 bug工时比线上bug数 bug修复时效评审通过率 bug日清率自测通过率 case覆盖率自动化覆盖率缺陷逃逸率 App Crash率需求变更率人均dev bug数单元测试覆盖率 UI bug数 Bug reopen率服务可用性故障监控发现率项目度量对象团队交付吞吐量 / 交付响应周期需求数效率迭代数等待开发周期开发周期等待测试周期测试周期代码发布频率版本回滚率技术优化数等待开发项目占比开发工时等待测试项目占比测试工时发布时⻓ …… 业务线资源分布 …… 开发测试工时比异常项目度量对象个人

20. 研发效能度量体系需求阶段质量开发阶段测试阶段运维阶段度量对象需求bug数 bug工时比延期提测数 Dev bug数 bug工时比线上bug数 bug修复时效评审通过率 bug日清率自测通过率 case覆盖率自动化覆盖率缺陷逃逸率 App Crash率需求变更率人均dev bug数单元测试覆盖率 UI bug数 Bug reopen率服务可用性故障监控发现率项目度量对象团队交付吞吐量 / 交付响应周期需求数迭代数等待开发周期开发周期等待测试周期测试周期代码发布频率版本回滚率技术优化数等待开发项目占比开发工时等待测试项目占比测试工时发布时⻓ …… 业务线资源分布 …… 开发测试工时比异常项目效率数据可量化采集系统化监控实时化度量对象个人度量平台化

21. 2 质量度量

22. 研发效能度量体系需求阶段质量开发阶段测试阶段运维阶段度量对象需求bug数 bug工时比延期提测数 Dev bug数 bug工时比线上bug数 bug修复时效评审通过率 bug日清率自测通过率 case覆盖率自动化覆盖率缺陷逃逸率 App Crash率需求变更率人均dev bug数单元测试覆盖率 UI bug数 Bug reopen率服务可用性故障监控发现率项目度量对象团队交付吞吐量 / 交付响应周期需求数迭代数等待开发周期开发周期等待测试周期测试周期代码发布频率版本回滚率技术优化数等待开发项目占比开发工时等待测试项目占比测试工时发布时⻓ …… 业务线资源分布 …… 开发测试工时比异常项目效率数据可量化采集系统化监控实时化度量对象个人度量平台化

23. 质量度量 STEP 01 枚举 STEP 02 STEP 03

24. 质量度量交付过程质量指标 • Bug工时比过程指标-线下质量 • 人均bug数 • 异常项目数 • 自测通过率 • 线下bug日清率结果指标-线上质量交付结果质量指标 • 线上bug数 • 线上bug及时修复率

25. 质量度量 STEP 01 枚举 STEP 02 映射 STEP 03

26. 质量度量维度人均线下bug数人均bug工时比线下质量自测通过率 dev bug日清率异常项目数人均线上bug数线上质量线上bug及时修复率 1分 2分 3分 4分 5分

27. 质量度量维度 1分 2分 3分 4分 5分 (0.06,∞） (0.04,0.06] (0.02,0.04] (0.01,0.02] （0,0.01] 人均线下bug数人均bug工时比线下质量自测通过率 dev bug日清率异常项目数人均线上bug数线上质量线上bug及时修复率

28. 质量度量维度 1分 2分 3分 4分 5分 (0.06,∞） (0.04,0.06] (0.02,0.04] (0.01,0.02] [0,0.01] [0,70%] （70,80%] (80%,90%] (90%,95%] (95%,100%] 人均线下bug数人均bug工时比线下质量自测通过率 dev bug日清率异常项目数人均线上bug数线上质量线上bug及时修复率

29. 质量度量维度线下质量 1分 2分 3分 4分 5分人均线下bug数 (1.5,∞） (1,1.5] (0.5,1] (0.25,0.5] （0,0.25] 人均bug工时比 (0.06,∞） (0.04,0.06] (0.02,0.04] (0.01,0.02] 自测通过率 [0,90%） [90%,95%） [95%,98%） [98%,100%） 100% dev bug日清率 [0,60%) [60%,80%) [80%,90%) [90%,100%) 100% 异常项目数 (2,∞） (1,2] (0,1] 0 0 人均线上bug数 (0.225,∞）线上bug及时修复率 [0,70%] [0,0.01] （0.175,0.225] （0.125,0.175] （0.075,0.125] （0,0.075] 线上质量（70,80%] (80%,90%] (90%,95%] (95%,100%]

30. 质量度量

31. 质量度量 STEP 01 枚举 STEP 02 映射 STEP 03 加权

32. 质量度量

33. 质量度量示例：xx团队xx周的数据，质量分是3.5、雷达图直观展示各个维度的得分情况；

34. 质量度量团队数据：按周期统计每个技术团队的质量情况

35. 质量度量场景：最近1个月，有条业务线的线上bug及时修复率一直未达标，在60%~70%之间；分析：第一步：筛选超时的bug，确认问题目标；第二步：通过bug分析功能确认超时原因的环节；（如下图）第三步：汇总问题原因；结论：问题集中在和第三方部门的合作；

36. 质量度量场景：通过数据分析发现，某一个团队在某周质量分2.5分；第一步：查看系统中雷达图中影响得分的数据指标：第二步：指标下钻到团队数据，再下钻到个人数据；第三步：结合项目情况，分析问题的原因得出原因： 1、开发一个时间紧任务重且复杂度较高的大项目，提测质量较差； 2、基于第一个情况，修复线上bug的时间被挤压；

37. 3 效率度量

38. 研发效能度量体系需求阶段质量开发阶段测试阶段运维阶段度量对象需求bug数 bug工时比延期提测数 Dev bug数 bug工时比线上bug数 bug修复时效评审通过率 bug日清率自测通过率 cas e覆盖率自动化覆盖率缺陷逃逸率 App Cras h率需求变更率人均dev bug数单元测试覆盖率 UI bug数 B ug reopen率服务可用性故障监控发现率项目度量对象团队交付吞吐量 / 交付响应周期需求数效率迭代数等待开发周期开发周期等待测试周期测试周期代码发布频率版本回滚率技术优化数等待开发项目占比开发工时等待测试项目占比测试工时发布时长 …… 开发测试工时比异常项目业务线资源分布数据可量化 …… 采集系统化监控实时化度量对象个人度量平台化

39. 效率度量主要有以下指标： ● 交付吞吐量 ● 需求各阶段交付周期 ● 开发测试工时比 ● 资源分布

40. 效率度量交付吞吐量：统计周期内交付的需求个数，即单位时间交付的需求个数。

41. 效率度量需求各阶段交付周期：从需求提出，到开发、测试、上线，最终验收通过的各个阶段的时间周期；反映了整个团队（包含业务、产品、开发、测试、运维等职能）对客户问题或业务机会的交付速度，依赖整个组织各职能和部门的协调一致和紧密协作；

42. 效率度量 ●两个重点关注过程指标：开发等待项目占比、测试等待项目占比；

43. 效率度量 ●开发和测试工时比：衡量一个项目开发和测试资源投入占比，作为一个项目中测试资源投入的参考；

44. 效率度量 ● 资源分布：统计周期内业务线技术资源分布情况，可衡量不同业务线、模块、重点需求资源的投入；场景： 1、老板想要知道各业务的资源投入情况；尤其想知道重点业务线的资源投入； 2、做人员资源盘点的时候，想直观查看团队资源分布在哪些业务上；

45. 4 度量监控

46. 质量度量周双周月季度

47. 质量度量

48. 质量度量针对重要的结果指标进行实时监控、做到及时调整；示例：线上bug 提醒内容：即将超时提醒、已经超时提醒、当日未解决bug提醒、P1、P2bug提醒；提醒方式：邮件、内部IM、微信公众号；提醒节点：每天固定时间、提前N个小时、实时；提醒范围：bug相关人、以及相关人的leader；

49. 质量度量微信公众号 58IM 邮件

50. 5 度量系统

51. 度量系统对外数据展示图表展示通知提醒数据下载服务存储统计分析基础数据数据源项目周期团队数据等待耗时个人数据 Redis 项目质量资源分布异常项目团队效率项目工时项目周期项目节点个人工时个人bug 个人用例项目管理系统 Bug系统 Mysql case系统发布系统 OA

52. 度量系统体系抽象半自动化表格平台呈现融入集团度量平台

53. 度量系统-总结数据驱动研发效能过程改进统计项目、团队、个人改进；度量体系改进，体系不是固定的，根据团队的发展灵活做优化调整；利用数据，透过现象分析本质找到问题的根本原因度量是多维度，非单一的；结果指标和过程指标都要有；挑选团队当下最适合的度量方式；改进观察究因分解依靠过程监控、实时反馈，跟踪数据由结果拆解到过程由团队拆解到个人、单个项目；

54. THANKS

55.

56. 欢迎加入交流群小秘书微信 58技术公众号