外包模式下度量驱动研发效能质量提升

1. GOPS 全球运维大会2021·深圳站

2. 外包模式下度量驱动研发质量效能提升温粉莲效能运营分析主管 GOPS 全球运维大会2021·深圳站

3. 温粉莲效能运营分析主管广东移动网络管理中心质量效能运营分析主管，多年电信设备研发运维、信息系统集成工作经验。目前负责广东移动DevOps平台建设及系统质量效能运营分析。 GOPS 全球运维大会2021·深圳站

4. 1 为什么要在DevOps中引入度量 2 如何设计有效的度量体系 3 实施路径目录 CONTENTS GOPS 全球运维大会2021·深圳站

5. 为什么要在DevOps中引入度量 01 GOPS 全球运维大会2021·深圳站

6. IT外包模式下面临的挑战 GOPS 全球运维大会2021·深圳站

7. 自主搭建DevOps平台  测试环境  预发布环境  生产环境  Kubernetes容器云环境  物理机/VM传统环境 GOPS 全球运维大会2021·深圳站

8. 接入DevOps之后… 业务部门老板 • 接入的系统使用情况？还有哪些没接为什么我的需求交付还是这入？ • 么慢？产生什么样的效果？运维为什么上线还是有故障？ GOPS 全球运维大会2021·深圳站 HOW？项目经理故障恢复能更快吗？

9. 自动化只是先决条件度量 Performance 流程 Process 原则 Principle 实践 Practice 组织 People 工具 Product 流水线不是为了更快的交付低质量的软件 GOPS 全球运维大会2021·深圳站整体优化

10. 如何设计有效的度量体系 GOPS 全球运维大会2021·深圳站 02

11. 度量的目的现状目标 If you can’t measure it, you can’t change it. 通过数据度量，发现瓶颈，持续改进 GOPS 全球运维大会2021·深圳站精 -- Peter Ducker 准改进

12. 度量设计应遵循的原则度量是一个系统工程，需要不断演进  度量不是免费的，需要成本，需要考虑有效性，需要考虑可靠性  度量是阶段性的，选择合适当前阶段的指标，重点优化这些指标  度量是动态变化的，需要不断的迭代，增加有用的，删除无效的 GOPS 全球运维大会2021·深圳站

13. 好的度量人均代码产出量 = 软件开发总代码变更行数开发人员数量写代码？容易理解，可比较 GOPS 全球运维大会2021·深圳站

14. 好的度量代码提交频率 = 总代码提交次数开发人员数量代码提交频率提升更高的集成频率？结果导向 GOPS 全球运维大会2021·深圳站

15. 好的度量需求平均交付周期 150 100 26 33 50 17 47 0 6 27 20 12 39 0 14 43 5 20 13 36 1 16 12 30 77 34 17 21 7 41 34 42 8 6 16 18 25 31 18 43 31 19 平均排版周期 20 6 16 28 17 41 73 29 31 16 15 29 3 平均开发周期 12 18 20 25 21 16 22 32 48 22 8 38 1 16 17 30 8 平均验收前置时间 7 9 28 22 13 45 45 15 10 15 12 21 17 19 20 26 30 65 51 20 32 30 15 4 11 14 22 0 13 7 23 16 13 11 33 0 平均验收周期需求平均交付周期客户提出需求评审平均验收前置时间需求平均开发周期需求平均排版周期排版开发需求签字单元测试集成测试如何缩短？ GOPS 全球运维大会2021·深圳站联调测试部署上线准备验收平均验收时间开始验收验收结束蕴含改进路线、方法

16. 好的度量千行bug率是好指标吗？指标矩阵 • 多维度 • 相互制约 • 解读正确单测覆盖率是好指标吗？ GOPS 全球运维大会2021·深圳站

17. 小结 1. 可比较、容易理解 2. 结果导向 3. 蕴含改进路径 4. 多维度，避免片面好的度量具备的特点 GOPS 全球运维大会2021·深圳站 1. 评估效果 2. 发现问题 3. 体现价值达到的效果

18. 实施路径 DevOps运营分析实践 GOPS 全球运维大会2021·深圳站 03

19. 建立运营分析体系运营分析对象分析方法、维度识别运营分析的不同对象，调整运营分析频次、策略定量分析、环比、排序、趋势分析多种方法综合使用 02 01 效能指标从两种基础指标、六大类效能指标出发，确定指标的定义、可能原因、改进举措 GOPS 全球运维大会2021·深圳站 04 03 闭环机制制定基于指标分析问题，确定改进和闭环机制

20. 确立效能基础指标接入广度 = 接入的子系统/模块个数在用子系统/模块个数 DevOps工具链使用成熟度数据分析的基本特征：可采集，可分析，可推论 GOPS 全球运维大会2021·深圳站

21. 基于工具的成熟度定义广东移动DevOps工具使用程度需求管理代码管理制品管理构建和打包部署到测试环境部署到预生产环境部署到 A平面部署到 B平面 JIRA 单元测试代码扫描 API接口测试性能测试镜像扫描 UI 测试 L1：自动化配置管理能力 L2：持续集成/持续部署能力 L3：持续质量改进能力 L4：持续高质量和安全改进能力自动化工具的使用程度，反映系统开发过程持续改进的能力 GOPS 全球运维大会2021·深圳站

22. 确立研发质量效能指标价值效率质量吞吐量环境安全排版率交付周期单测覆盖率需求吞吐量占用率 Web漏洞上线率上线周期严重bug数、漏洞数代码提交频率使用率逻辑漏洞验收通过率开发周期代码重复率人均开发产能规划合理率开源组件缺陷数验收及时率上线前置时间圈复杂度版本发布次数排版规范率持续集成时长部署成功率部署时长上线成功率 GOPS 全球运维大会2021·深圳站

23. 各阶段的数据采集 12583 Gitlab n 需求 • • • • 编码 IT网管构建需求排版率 • 代码提交 • 构建频率需求上线率频率 • 构建时长需求验收率 • 构建成功率规范率测试镜像扫描环境部署 • web漏洞数 • 资源使用统 • 部署时长 !测"#$ • 逻辑漏洞数 • 部署成功率计技术债务 • 第三方漏洞 • 持续集成时代码重复率数长圈复杂度自动化测试数量 • 自动化测试成功率 Prometheus + 脚本 • 手动测试数量 • • • • • GOPS 全球运维大会2021·深圳站监控 • MTTR

24. 组建效能团队推动落实改进设计指标、采集数据、组织运营分析流水线业务系统容器改进落实主体责任人负责系统的质量、效能提升 GOPS 全球运维大会2021·深圳站

25. 推广运营 GOPS 全球运维大会2021·深圳站

26. 质量内建,引导观念转变测试左移 GOPS 全球运维大会2021·深圳站

27. 调动积极性，主动改进改进方案集中分析集中采集集中宣贯集中跟进保姆式运营 GOPS 全球运维大会2021·深圳站分析问题答辩上月进展主动式运营

28. 聚焦问题，形成综合打分机制需求管理混乱：需求排版规范率客户满意度低：一次验收通过率需求延期：上线及时率 DevOps组件使用少： DevOps成熟度集成测试通过率低：单测覆盖率部署时间长：部署成功率代码质量差：千行bug率、重复率、漏洞数上线故障多：一次性上线成功率 GOPS 全球运维大会2021·深圳站结果导向: 每系统、每月得分作为《网管支撑定制软件研发项目考核办法》的打分依据得分结果评估团队改进成效

29. 经验总结、分享比学优秀项目分享自动化测试经验赶优秀项目分享项目开发管理经验帮超质量差项目的失败原因分析 GOPS 全球运维大会2021·深圳站项目获得DevOps转型成功奖

30. 高效的DevOps组织 GOPS 全球运维大会2021·深圳站

31. 总结现状更清晰度量的必要性目标更明确改进更精准可比较好的度量结果导向蕴含改进路径建立体系持续运营、不断改进 GOPS 全球运维大会2021·深圳站推广运营调整优化

32. Thanks 高效运维社区开放运维联盟 GOPS 全球运维大会2021·深圳站荣誉出品