网商银行持续集成平台建设实践

1. 网商银行持续集成平台建设实践谢凯

2. 讲师简介有多年的数据库、电商、金融等领域的质量保障工作经验，目前主要在网商银行负责持续集成平台的开发以及银行业务的质量保障工作。谢凯网商银行技术专家 ee.msup.com.cn

3. 目录 1. 风险及应对 – 为什么做？ 2. 持续集成方案 – 做的是什么？ 3. 持续集成平台的解法及实施 – 怎么做的？ 4. 效果与收益 5. 未来展望 ee.msup.com.cn

4. 风险质量质量目标 1. 线下漏测问题 0资损 0P1P2故障 2.FY20S1资损故障大部分可以通过灰度zone发现或减小影响范围关键词：有防线、没执行、执行有遗漏效能 1.网商银行的交付周期离蚂蚁集团平均交付周期有较大差距 1.1.Master分支离随时可发布还有距离  高频回归能力待提升 1.2.自动化抓手欠缺  自动化有效性低，需度量改进  需对现有自动化工具聚合收口 ee.msup.com.cn 效能目标蚂蚁集团平均交付周期

5. 风险如何防控根因分析过程 CI目标全链路自动化、接口流量回放、代码门禁接入CI流程强管控全链路、接口能防住线下问题漏测确保测试工具执行无遗漏分级灰度能发现线上故障 CI流程中强制进行分级灰度成功率度量覆盖率度量有效性度量自动化工具有效 Master分支高频回归能力运行时长度量推导过程 ee.msup.com.cn Master分支随时可发布缩短迭代的平均交付周期

6. 目录 1. 风险及应对 – 为什么做？ 2. 持续集成方案 – 做的是什么？ 3. 持续集成平台的解法及实施 – 怎么做的？ 4. 效果与收益 5. 未来展望 ee.msup.com.cn

7. 持续集成应该怎么做？持续集成的优秀实践 1.提交前先在本地运行所有的提交测试，或者让持续集成服务器完成此事 2.等提交测试通过后再继续工作 3.回家之前，构建必须处于成功状态； 4.时刻准备回滚到前一个版本，并且在回滚之前要规定一个修复时间 5.不要将失败的测试注释掉 6.为自己导致的问题负责 7.向构建中添加已有的自动化验证集合，通过之后对软件质量有比较大的信心 8.选择利于持续集成的分支策略 9.测试驱动开发 10.持续优化 • 编译打包时间 • 自动化测试用例的分层分级 • 测试验证环境的准备 • 优化编码规范扫描 • 生成数据报告团队共识持续集成不是一种工具，而是一种实践。它需要开发团队能够给予一定的投入并遵守一定的规则，需要每个人以小步增量的方式频繁地将修改后的代码提交到主干上，并一致认同“修复破坏应用程序的任意修改是最高优先级的任务” ee.msup.com.cn

8. 我们的方案拉通流程 ee.msup.com.cn 聚合能力  整合pipeline  链接工具、平台  高频执行  CI治理

9. 目录 1. 风险及应对 – 为什么做？ 2. 持续集成方案 – 做的是什么？ 3. 持续集成平台的解法及实施 – 怎么做的？ 4. 效果与收益 5. 未来展望 ee.msup.com.cn

10. 持续集成平台演进的2个阶段平台能力拓展阶段 2020.3-至今  能力体系化建设  智能化探索平台搭建阶段 2019.8-2020.3  平台框架搭建，由0->1  基础能力建设 ee.msup.com.cn

11. 我们目前具备的基础设施研发基础平台 ee.msup.com.cn • • • • • • • 构建系统测试环境配置管理发布系统研发流水线代码管理监控管理测试平台 • 全链路自动化平台 • 流量回放平台 • 灰度平台

12. 分支管理策略 – 分支开发主干发布 master 拉取迭代分支合并迭代分支到主干迭代分支拉取feature 开发分支 feature分支merge 到迭代分支 Feature分支 Pull feature分支到本地本地分支 ee.msup.com.cn 本地修改push到 feature分支

13. 持续集成流程建设 dev 需求 sit 预发阶段推进卡点阶段推进卡点分支pipeline 高频执行全链路阶段推进卡点流量回放阶段推进卡点发布灰度主干 pipeline 低频执行全链路阶段推进卡点流量回放阶段推进卡点灰度卡点灰度已完成执行1次不可跳过阶段推进自动触发可跳过多级灰度主干分支本地分支 Mr触发安全扫描冲突检测代码合并代码评审集成测试 (关注全量) 部署静态代码扫描代码门禁 Mr触发冲突检测代码门禁 ee.msup.com.cn 集成测试代码合入卡点迭代分支本地分支安全扫描代码评审代码合并静态代码扫描集成测试全链路自动化测试 (关注全量) 接口流量回放测试 (关注全量) 代码合入卡点部署集成测试 (关注全量) 全链路自动化测试 (关注变更) 接口流量回放测试 (关注全量)

14. 度量指标建设分类成功率时长时间 ee.msup.com.cn 指标目标单测100%成功率 95% 全链路自动化测试冒烟成功率 95% 全链路自动化新增成功率 95% 单测 10分钟全链路自动化测试冒烟 10分钟全链路自动化测试新增 10分钟 Dev总时长 30分钟 SIT总时长 30分钟 dev修复时间 2小时 Sit修复时间 30分钟正常状态占比 70% 说明这个时间是开发提交之后强等待时间统计主干和开发分支的非故障状态的总时长占全部时长的占比，主要表现了主干或分支的总健康状态

15. 测试组件设计方式前置数据处理触发组件运行组件运行逻辑测试组件的2个动作消息订阅查询运行结果定时任务测试组件运行逻辑模版化 ee.msup.com.cn

16. 配置能力 • • 覆盖率、成功率配置阶段推进卡点配置 ee.msup.com.cn 组件的配置能力 Pipeline的编排能力 • 针对组件的运行顺序可以随意组合

17. 反馈能力 Pipeline运行结果测试组件运行结果 ee.msup.com.cn

18. 持续集成平台建设 - CI平台架构1.0 通知能力 CI控制平台配置能力度量能力 Pipeline结果通知组件接入配置卡点阈值配置组件度量数据迭代周期数据度量数据日 /周/月报业务域系统配置组件个性化设置 Pipeline 度量数据卡点度量数据 CI状态管理能力组件的执行状态 pipeline的执行状态全链路自动化组件流量回放组件组件收口能力分支的最新状态第三方组件接入平台依赖暴雪平台全链路平台灰度平台 ee.msup.com.cn 依赖层 linke 组件能力代码门禁组件灰度组件

19. CI治理过程中遇到的一些问题全链路、接口、灰度引流卡点还不够全面对齐网商质量保障体系 Pipeline运行时长、代码合入之后的组件运行失败了研发关注度不高重点关注2类卡点指标接入的测试组件、卡点太多，不同业务诉求不一样，该采取何种质量策略？ ee.msup.com.cn 质量决策

20. 网商银行的质量保障体系系统稳定业务连续资金安全 + 严控流程 + 夯实防线需求系分测分项目排期优化系分模版测分模版代码门禁需求准入条件系分评审确认测分评审确认排期会头狼会新应用审批项目分级 SIT测试预发测试发布代码免疫全链路自动化流量回放自动化多级灰度核对（降噪、智人）资损/高可用演练联调用例冒烟代码覆盖率用例有效性分析 Pd预发验证发布计划模版 CDO 监控报警接口用例提测标准功能测试验证缺陷记录三板斧线上问题管理跟踪应急熔断 CR Show- case 用例记录测试工具发布确认限流业务预案压测日常值班研发场景识别 (飞轮) 前后端融合测分持持续集成平台代码注入攻防业务大图业务分享系统分享日报周报线上问题复盘注入攻防 ee.msup.com.cn 效能提升全链路自动化 Doom流量回放续集成线上深海环境保障灰度平台 tm/th/t1核对飞轮业务识别项目复盘新人培训文档维护团队共创应急手册缺陷报告质量报告 CR/监控/核对红黑榜团队建设技术奖项

21. 卡点度量大盘 ee.msup.com.cn

22. 质量决策针对迭代的质量风险 • • 能力模型风险模型风险类型风险模型区分高、中、低风险 • 高风险阶段推进会拦截、中风险会警告但不会拦截 • 针对不同的系统可以进行通用和定制化配置 • 支持加签设置并且记录加签原因智能推荐 • ee.msup.com.cn 根据代码、配置变更推荐自动化测试项

23. 持续集成平台建设 - CI平台架构2.0 质量决策通知能力平台依赖全链路编排平台接口流量回放平台 CI控制平台灰度平台慢sql检测平台智能精准攻防平台新增功能 ee.msup.com.cn 依赖层 linke 已完成能力视图智能推荐度量能力配置能力报告能力 Pipeline结果通知组件接入配置卡点阈值配置组件度量数据迭代周期数据迭代测试报告度量数据日/ 周/月报业务域系统配置组件个性化设置 Pipeline 度量数据卡点度量数据提测报告组件的执行状态异常日志检测平台风险视图质量准出能力全链路自动化测试组件异常日志检测组件 CI状态管理能力 Pipeline 的执行状态分支的最新状态流量回放组件代码门禁组件智能精准攻防组件组件收口能力第三方组件接入组件能力精准联动组件静态代码扫描充分校验组件灰度组件慢sql 预检组件端到端测试组件

24. 目录 1. 风险及应对 – 为什么做？ 2. 持续集成方案 – 做的是什么？ 3. 持续集成平台的解法及实施 – 怎么做的？ 4. 效果与收益 5. 未来展望 ee.msup.com.cn

25. 运营数据 9 网商银行、消费信贷、保险、大安全、支付宝、CTO线、智能科技、财富、境外银行 3430 接入的迭代数 33779 Merge request 次数 ee.msup.com.cn

26. 效果数据质量上个财年0资损，0p1p2故障代码门禁卡点有效拦截2495次没达标代码合并，阶段推进卡点有效拦截111次效能交付周期缩短40% ee.msup.com.cn

27. 目录 1. 风险及应对 – 为什么做？ 2. 持续集成方案 – 做的是什么？ 3. 持续集成平台的解法及实施 – 怎么做的？ 4. 效果与收益 5. 未来展望 ee.msup.com.cn

28. 未来展望主干开发在治理好自动化测试的基础上，不断完善代码门禁的内容，最终满足提交的代码基本能达到发布的标准精准测试进一步提升精准测试的效果智能决策智能决策出需要执行哪些测试组件 ee.msup.com.cn

29. 关注msup公众号获取更多工程效能实践案例