张佑文-大型项目CI的服务化解决方案

如果无法正常显示，请先停止浏览器的去广告插件。

1. 大型项目CI的服务化解决方案张佑文 2019年12月

2. 提纲 CI与痛点解决方案实践成效

4. how持续集成内部公开▲ 1. 维护统一的源码存储库 2. 自动化构建 3. 构建包含自动化测试验证 4. 每人每天提交代码到主干分支 5. 每次提交都应在主干分支上构建集成 6. 立即修复失败的构建 7. 让构建更快速 8. 在类生产环境中测试 9. 任何人都能轻松获得最新可用版本 10.每个人都可以看到主干分支构建状态 11.自动部署多种环境 © ZTE All rights reserved 4

5. 大规模项目特点内部公开▲ l 产品不确定性多 • 输入不确定：标准协议未定稿，客户认知不一 • 基础不稳定：全新平台、系统架构、全新通讯协议 • 外部约束多：兼容多种组网、多个规格型号、多个历史版本、安全合规 l 系统复杂程度高 • 软件规模大：代码千万~亿行，版本包2G~60G • 交付要求高：1个月发布一个版本 l 团队规模大 • 并行开发：1000~3000人开发交付 • 跨地域协同：深圳、上海、西安、南京多地协同 • 能力参差不齐：新员工多，人员流动性大 © ZTE All rights reserved 5

7. 大规模项目CI的挑战与痛点 l 源码/工具/依赖库分散在不同位置 • 版本分支管理复杂 • 依赖关系复杂，难以并发构建 l 构建集成时长过长 • 无法每次入库在主干分支构建集成 l 构建失败定位困难 • 批量合入，人工定位回滚 l 主干锁库频繁，阻塞代码提交 • 等待入库，等待测试，开发效率降低内部公开▲ 1. 维护统一的源码存储库 2. 自动化构建 3. 构建包含自动化测试验证 4. 每人每天提交代码到主干分支 5. 每次提交都应在主干分支上构建集成 6. 立即修复失败的构建 7. 让构建更快速 8. 在类生产环境中测试 9. 任何人都能轻松获得最新可用版本 10.每个人都可以看到主干分支构建状态 11.自动部署多种环境 © ZTE All rights reserved 7

8. 我们的CI演变历程内部公开▲ DevOps疾行，改进无止境 CI 方案 2018~2019 2016~2017 2013~2015 2010~2012 研发模式 • 敏捷萌芽 • 自研工具 • 内部试点项目探索 • 项目级敏捷 • 云CI云测试引入 • 某标杆项目版本交付周期3个月 • 研发入云 • 重点项目版本交付周期6个月 • 质量提升50% © ZTE All rights reserved 8 • 安全合规内嵌 • CI服务化 • 某重点项目版本交付周期1个月

9. 提纲 CI与痛点解决方案实践成效

10. 内部公开▲ 云化CI方案存在的痛点持续集成 A项目 • 流程建模 • 流水线创建 • 平台工具二次开发 • 相关系统数据打通 • 环境资源调度管理 • DIY持续维护持续部署 B项目 C项目 … … 代码托管代码检查持续集成自动化测试 Gerrit Fortify 云CI 云测试 Klocwork Jenkins Blackduck Coverity Docker …… Mesos … 痛点 l 项目上线：CI需要DIY，低水平重复 l 安全合规：工具分散，游离在主流程外 l 数据一致性：项目间数据定义差异明显，互通困难 l 成果共享复制：优秀成果复制推广困难打包发布 Artifactory Nessus 绿盟 WebInspect © ZTE All rights reserved 10

11. 内部公开▲ 服务化CI的演进思路持续集成 A项目 • Config A 持续部署 B项目 • Config B C项目 • Config C ...... 数据中台可编排持续集成服务代码托管代码检查持续集成自动化测试 Gerrit Fortify 云CI 云测试 Klocwork Jenkins Blackduck Coverity Docker …… Mesos 透视图打包发布 Artifactory 目标 l 场景化支撑：可编排支撑多种项目场景，轻量化使用运维 l 服务内嵌：安全合规内嵌、质量内建 l 数据治理：统一业务模型、数据模型，全局展示 l 开源共创：聚焦主航道，工具可插拔和持续演进 Nessus 绿盟 WebInspect © ZTE All rights reserved 11

12. 内部公开▲ 服务化CI业务框架：场景化、可编排、可扩展 A项目 B项目 C项目 ....... 多样化场景 CI应用产品CI 领域CI 个人CI 分支自动化安全合规流水线 ....... 多级CI/多分支/多项目协同流水微服务/小产品的多分支管理多代码库一键拉分支实例创建检出编排调度构建缺陷扫描开源扫描漏洞扫描病毒扫描渗透测试编排解析器调度引擎实例构建器开源共创 API 公共库代码操作编译构建制品操作灵活编排安全扫描数据推送 ....... 数据贯通工具接口 Gerrit 工具平台 Fortify 云CI 云测试 Artifactory 云部署 Klocwork Jenkins Blackduck 自研SWR Jenkins Coverity Docker …… Mesos 低成本 Nessus 绿盟 WebInspect 12 © ZTE All rights reserved • 多层次串行、并行编排 • 资源优先级可调配 • 控制点、红线自动管控 • 插件式扩展 • 能力集可扩展，快速复制优秀实践 • 统一的数据模型 • 自动化上报数据中台 • 对通透视图 • 原生工具封装，简化引用 • 工具部署升级可统一实施

13. CI服务化方案：基于项目业务提炼通用模型，基于配置灵活调度执行 CI模型公共配置项目配置 Step模型 ...... ...... 个人CI 解析构建器调度执行引擎 VerifyCI 项目定制公共资源项目资源 © ZTE All rights reserved 13 MergeCI ...... ...... ...... 产品CI 领域CI Pipeline模型 Stage模型内部公开▲ ...... ......

17. 提纲 CI与痛点解决方案实践成效

25. 内部公开▲ 基于服务化方案快速实现安全合规内嵌 • 基于服务化CI框架，可一次性快速上线四大类、七种安全工具，免去整合安全工具的人力与时间投入 • 统一输出报告内容，自动上传制品库并打标签， 100%确保报告真实准确，达到公司治理要求，并释放汇总工作的人力每版本0.5人天 • 简化配置和部署，典型的项目配置仅100多行 • 统一安全数据模型，自动化采集结果并传到数据中台，形成反馈闭环 • 直接对接透视图，可视化安全扫描数据 © ZTE All rights reserved 25

27. 谢谢！