十倍质量效能提升之路
如果无法正常显示,请先停止浏览器的去广告插件。
1. 卓越生产力-10倍质量效能提升
TestOps 云层
2. 讲师简介
行业知名实践派DevOps和敏捷测试双领域
专家,阿里云云效认证咨询师,中国商业联
合会互联网应用技术委员会智库专家、华为
云/阿里云MVP。
腾讯课堂认证讲师、Exin认证DevOps讲师
热销书《敏捷测试实战指南》、《性能测试
进阶指南》系列、《LoadRunner12七天速
成宝典》作者。《测试敏捷化白皮书》项目
经理。
DOM、ACP、ASM、SA、ScrumInc SM、
TestOps 云层
SDP、SSM、SPOPM证书获得者、TMMI
会员。
3. 当下研发效能所要解决的问题
第一:局部效率不等于高效交付。
第二:高效交付不等于持续高效。
第三:高效交付不等于业务成功。
来源《阿里巴巴ALPD精益开发方法及10倍效能组织愿景》
ee.msup.com.cn
4. 相对传统开发方法10 倍效能提升的愿景
10 倍响应速度(流
动): 10 倍过程质量(反
馈): 10 倍有效价值(精
益):
• 如对需求业务需求响应从1
至3 个月左右的版本周期改
进至1 周左右的交付周期; • 产品开发过程中最大缺陷存
量从近100 改进至10 个以
内; • 这是最有改进空间,也最值
得改进的地方,它的衡量是
以更少的需求交付更有效的
价值,探索并获取业务成功。
来源《阿里巴巴ALPD精益开发方法及10倍效能组织愿景》
ee.msup.com.cn
5. 研发效能三板斧分别是:
第1 板斧: 全链路精益协作及精益需求分析。解决局部效率不等于高效交付的问题;
第2 板斧: 中台化技术及云原生的工程实践。解决高效交付不等于持续高效的问题;
第3 板斧: 精益互联网创新方法。解决高效交付不等于业务成功的问题
来源《阿里巴巴ALPD精益开发方法及10倍效能组织愿景》
ee.msup.com.cn
6. 十倍质量效能
•
提升60%
自动化率
周期从原来的20个工作日缩短至10个工作日;
缩短1半
发版周期
通过率99%
自动化测试
因为研发工具、研发流程、研发规划及研发环境的标准化,大幅提升研发效能,发版
• 因为采用分支管理流水线、自动化分层测试等技术,自动化提升60%;
• 因为采用质量内建质量体系上线缺陷减少90%
• 建立有效自动化测试:通过云效自动化测试工具,结合分层自动化测试方案和数据银
行模块,快速建立一整套自动化测试用例,活跃自动化脚本数超过29500个,用例通
过率超过99%,为微服务架构下的中台建设提供稳定而且高效的质量保证。
来源《云效手册》
ee.msup.com.cn
7. 如何通过云原生的工程实践
构建10倍质量效能?
8. 质量在研发效能中的位置及阻碍
有限时间的流畅高质量交付
质量效能
目标
传统测试
设计
ee.msup.com.cn
• 适度可控的质量
• 有效的用例
• 有限周期
• 提升效能
• 质量保证能力强
• 用例过多
• 回归周期长(60%
以上)
• 效能低
9. 端到端质量跟踪
手动
快速反馈
自动化测试
结对编
程
代码静
态分析
持续同
行评审
ee.msup.com.cn
验收测
试
单元测试 接口 / 契约测试
界面测试 非功能测试
自动部署验证
冒烟测试
探索性
测试
自动化
健康度检查
持续监
控
10. 阿里云效质量效能体系
11. 10倍单元效率
ee.msup.com.cn
基于分支的变更自
动触发 多规则可自定义 质量分自动统计 用例错误和静态扫
描问题一键查看
可以通过项目名称、
id、发布日期多维
度查询 质量模型里面的关
键数据界面有展示 丰富的报表数据 机器掉线以及磁盘
空间不够都会及时
报警
12. 单元级别
研发要有自测的意识,认识到质量是衡量自己的重要要求之一。
持续构
建
持续反
馈
ee.msup.com.cn
13. 1年的代码质量分变化
• 单元测试:用例总数增加29%,成功用例数增加39%
• 静态代码扫描问题修复超过5000
• 上线故障修复时间减少30%,故障率减低23%
ee.msup.com.cn
14. 分层自动化
大量测试用例,维护成本,执行准备和冗余极大降低了测试效率,有效分层自动化成为了关键
通过质量内建赋能研发自测自运维
ee.msup.com.cn
15. 10倍接口效率
支持EDAS专有云/公有云直接导入,支持数据初始化及验证清理。
有效提高接口测试独立性和执行效率,快速管理云原生接口。
工具特点:
• 快捷多协议导入
• 自动数据类型匹配
• 前置数据驱动
• 后置断言和数据销毁
ee.msup.com.cn
16. 10倍UI效率
支持录制模式,高识别率快速转化手工用例,提升验收测试效率。
工具特点:
• 无入侵式基于桌面端UI
• 可视化维护
• 支持录制
• 多元定位
• 复杂场景支持
• 多环境多浏览器
• 支持动态参数
ee.msup.com.cn
17. 10倍测试数据支持
支持多种数据构建模式,并可与自动化测试模块无缝衔接。
造数方式:
http
SQL(mysql/oracle)
Windows脚本
Linux脚本
redis
mongoDB
dds(蚂蚁金融云分库分表)
hbase
MemCached
ee.msup.com.cn
18. 10倍测试模块隔离
基于代理模式可成为透明网关,自动返回最后一次请求,构建协议Mock挡板,快速隔离模块支撑测
试。
工具特点:
• 统一接口度量
• 透明代理
• 多协议
• 多格式
• 动态表达式
• 多端口
• 支持异常模拟
ee.msup.com.cn
19. 10倍测试环境构建
应用一键申请,一键释放,公共环境自动路由隔离,只需要少数资源就可以支撑多项目并行测
试,提升测试环境准备效率。
ee.msup.com.cn
20. 质量管理流程
Aone项目管理质量度量体系-研发效能度量
ee.msup.com.cn
21. 可定制化流水线&大盘
ee.msup.com.cn
22. 10倍研发效能是综合能力
质量是确保交付可靠的关键一环
23. 十倍质量效能目标所需的组织职责
产品
需求开发
排期、迭
代和反馈
研发
测试
运维
有限的资源做有用的价值、最小的闭环、
需求的探索。降低开发资源因变更造成 清晰的提供给该业务产品负责人全部需求的技术资源估
的浪费。资源不足不是业务做不起来的 算,以便产品负责人清晰了解资源布局,做出决策。
理由。
确保每一个需求的产品设计的逻辑严谨。
需求澄清
负责产品设计初稿、召集评审、产品定
参加Review、提出意见确保产品设计的逻辑完备性。
稿归档;
开发阶段
周期长,
Bug多
要有自测的意识,
认识到质量是衡
量自己的重要要
求之一。
质量差
ee.msup.com.cn
低开发自测的门槛,
提升开发自测的效率。
共背质量
测试周期
长
要帮助开发自测,降
共背质量
测试要不断推动测试
效率的提升和成本的
降低
24. 关注msup公众号
获取更多工程效能实践案例