阿里巴巴CI平台架构演进

1. 阿里巴巴CI平台架构演进阿里云技术专家胡晓宇（昌意）

2. 讲师简介 2013年毕业后加入阿里巴巴，长期负责阿里巴巴集团研发效能相关的工具平台开发。目前主要负责阿里云公有产品云效流水线Flow的产品研发。胡晓宇阿里巴巴技术专家 ee.msup.com.cn

3. 1 CI平台核心技术指标 ee.msup.com.cn 2 阿里巴巴CI平台演进 3 使用云原生技术赋能CI平台

4. CI平台核心技术指标稳定性当任意用户触发构建时，平台可以在可接受的时间内开始构建，并完成构建 ee.msup.com.cn 成本在支撑用户构建需求的前提下，尽量少的减少浪费，提高资源利用率构建速度在保证构建隔离性的前提下，尽可能的降低构建时长构建安全不但要确保用户的构建环境不被其他的平台使用者窥探到，同时要保证系统的本身不被恶意攻击

5. 阿里巴巴CI平台演进 ~ 2016 内部使用物理机时代稳定性成本速度安全 ee.msup.com.cn 差高快差 2016~201 9 内部使用容器时代稳定性成本速度安全优低慢优 2019~202 1 商业化云原生时代稳定性成本速度安全高低快强

6. 使用云原生技术赋能CI平台 CI平台使用阿里云ACK OpenApi Service • 集群管理租户管理配额/ 账单构建任务构建调度日志缓存 ➁ • 集群伸缩集群度量 • 构建资源共享公共集群 ee.msup.com.cn • 物理机/虚拟机 K8S Job Controller 租户独占私有集群构建任务pod Job Runner 构建任务容器依靠云本身的容灾能力打造更好的稳定性使用ACK的弹性容器实例和集群伸缩能力来应对突发流量，从而降低成本使用缓存和更好的工具（比如buildkit）来构建速度使用K8S的资源和网络隔离能力和安全容器来提高安全性

7. 稳定性常见稳定性问题 ee.msup.com.cn 构建集群稳定性任务可下发与执行突发任务量

8. 稳定性 —— 构建资源稳定性构建资源北京可用区A • 集群故障时，全局故障单集群 ee.msup.com.cn

9. 稳定性 —— 构建资源稳定性构建资源北京可用区A 单集群构建资源北京可用区A 多集群热备 ee.msup.com.cn • • • 任务调度需要负载均衡单集群故障时通过集群隔离可快速恢复故障隔离时需要考虑容量是否足够

10. 稳定性 —— 构建资源稳定性构建资源北京可用区A 单集群构建资源北京可用区A 多集群热备构建资源北京可用区A 北京可用区B 北京可用区C • 单集群故障时无风险 • 单可用区（等同于机房）故障时无风险多集群，多可用区热备 ee.msup.com.cn

11. 成本 ——任务量监控任务量监控 • • • ee.msup.com.cn 工作时间段持续高水位非工作时间段持续低水位资源浪费

12. 成本 ——弹性调度 CI平台 OpenApi Service 集群伸缩集群管理 ➀ 集群度量构建调度 … 共享公共集群 Node Pod ee.msup.com.cn Pod Node Pod Pod Pod Pod Metrics Controller ➀ Metrics Controller • 采集集群负载

13. 成本 ——弹性调度 CI平台 OpenApi ➁ Service 集群伸缩集群管理集群度量构建调度 … ➁ 集群伸缩共享公共集群 Node Pod ee.msup.com.cn Pod • Node Pod Pod Pod Pod Metrics Controller 根据集群度量进行集群节点伸缩

14. 成本 ee.msup.com.cn ——弹性实例引入普通Pod 弹性容器实例（ECI Pod） 1. 从节点调度 1. 无固定节点 2. 规格受限 2. 无规格限制 3. 启动时长在1~3s（使用节点镜像缓存） 3. 启动时长约10s+，需要外挂缓存 4. 固定节点计费 4. 按照使用时长计费

15. 成本 ——弹性实例引入 CI平台 OpenApi Service 集群伸缩集群管理集群度量构建调度 … ➀ 集群中安装Virtual Node组件共享公共集群 Node Pod Pod Pod ECI Kubelet ee.msup.com.cn ➁ 需要调度ECI时给pod spec打上对应的annotation Virtual Node ECI ECI alibabacloud.com/eci=true

16. 成本 ——弹性实例调度时机 CI平台 OpenApi Service 集群伸缩集群管理集群度量构建调度共享公共集群 Node Pod Pod Virtual Node Pod ECI Kubelet ee.msup.com.cn ECI ECI … 根据集群度量 • 集群资源不足时，构建调度模块调度ECI • 集群资源充足时，构建调度模块调度给固定节点

17. 成本集群伸缩集群度量构建调度 • 测试环境成本节约95% + • 生产环境成本降低超50% • 解决了突发任务量的风险 Virtual Node ECI ee.msup.com.cn ECI ECI

18. 构建速度核心关键字 • runs-on • namespace • machineType • steps 构建Job Spec描述示例 ACK集群 Job Spec namespace steps Pod Step-1 containers Step-2 Step-N … ee.msup.com.cn

19. 构建速度 —— 系统耗时分析 ACK集群任务Pod 执行引擎镜像构建状态/日志回传 Job Spec 系统耗时 • 调用ACK集群拉起Pod的时间 • 在Pod中启动容器的时间 • 状态机日志回传的时间 ee.msup.com.cn Java构建用户构建耗时 • 每个容器中实际进行构建的时间，比如运行maven构建，镜像构建等

20. 构建速度 —— 系统耗时优化任务下发构建集群调度pod 下载代码 Java构建镜像构建结果解析 ee.msup.com.cn ➀ 步骤容器启动镜像拉取 ➀ 容器启动容器执行构建环境启动 ➀ 镜像拉取速度 ➁ 步骤容器启动加速

21. 构建速度 ——启动速度1.0 Node Pod InitContainers ➀ Step-1 Step-2 … Step-N 步骤镜像缓存 ee.msup.com.cn ➀ 串行执行控制 step-1~step-n 按照Job Spec使用 initContainers顺序编排

22. 构建速度 ——启动速度1.0 Node Pod InitContainers ➁ Step-ctl-1 Step-1 Step-2 Step-ctl-2 … Step-ctl-N Step-N 共享工作区 ➁ entrypoint ➁ ctl-files 步骤镜像缓存 ee.msup.com.cn CI平台 ➁ 状态同步 • entrypoint • step-ctl-n • ctl-files

23. 构建速度 ——启动速度1.0 step-1 entrypoint ctl-files step-ctl-1 step-1 … step-2 step-n 成功 echo 0>ctl-files/step-n 失败 echo 1>ctl-files/step-n 容器的入口脚本由entrypoint代理 step-ctl-n … 检查 ctl-files/step-n 根据step-n的值退出退出码0，同步步骤成功退出码1，同步步骤失败 CI平台 ee.msup.com.cn … step-n

24. 构建速度 ——启动速度2.0 Node 串行执行控制 Pod Containers ➀ Step-1 ➀ Step-ctl Log Collector Step-2 … Buildkit Deamon Step-N 共享工作区 ➀ entrypoint ➀ wait-files 步骤镜像缓存 ee.msup.com.cn （1）step-1~step-n 按照Job Spec编排出的步骤容器，所有容器启动但不执行状态同步 CI平台（2）entrypoint 代理原步骤容器入口（3）wait-files entrypoint监听 step-ctl监听（4）step-ctl 控制流容器，负责控制每个步骤容器step-n的执行与停止，同时负责状态同步

25. 构建速度 ——启动速度2.0 • • • 已完成执行中待执行 step-1 CI平台 step-2 … entrypoint step-n 容器的入口脚本由entrypoint代理 step-ctl step-n+1 监听wait_files目录中的文件通过步骤wait_file_n中的exitcode同步对应步骤状态通过监听wait_files目录中创建的finish_file创建进行退出 … wait-files wait_file_1 • • • wait_file_2 当step-n的entrypoint监听到wait_file_n创建，开始执行当step-n执行完成，entrypoint创建wait_file_n+1 当step-n识别到自己是最后一个步骤，创建finish_file ee.msup.com.cn … wait_file_n- 1 wait_file_n

26. 构建速度 ——启动速度构建环境1.0 • • InitContainers顺序更新镜像、启动（慢）多个step-ctl容器（额外的启停开销） ee.msup.com.cn 构建环境2.0 • • • Containers同时更新镜像，同时启动（快）单个step-ctl容器系统耗时整体下降

27. 构建速度 —— 用户耗时优化 ACK集群 OSS ACK集群任务 Pod 缓存restore 任务 Buildkitd恢 Pod 复 Java构建镜像构建 Buildkitd缓存导出与上传缓存归档 ACK集群 1. 通用文件型缓存任务 Pod Java构建中预置常用的 Jar包，以提高速度 2.针对特定技术栈的缓存预置 ee.msup.com.cn 3.针对镜像构建的缓存方案 OSS

28. 构建速度 —— 用户耗时优化任务下发构建集群调度pod 什么是buildkit？ Buildkit的优势 • 更灵活的缓存机制 • 可以支持不需要privileged • 多阶段构建的速度优势下载代码 ee.msup.com.cn ➁ Java构建启动buildkitd 步骤的执行镜像构建等待buildkitd 启动完成结果解析执行镜像构建 buildctl ➁ 镜像构建加速

29. 构建速度 ——镜像构建加速 sync Pod 加载buildkit 缓存 Containers … 等待buildkitd 启动完成 Step 镜像构建镜像构建 … 缓存gc 缓存上传 ee.msup.com.cn Step-ctl … 启动buildkitd • 通过增加镜像构建缓存的制作，有效减少镜像构建时长

30. 构建速度 ——镜像构建加速 Pod Step-ctl … … 镜像构建 Step 镜像构建 Step-ctl ➁ Step 镜像构建 … 等待buildkitd 启动完成 Containers Step 下载代码 … 启动buildkitd Containers 加载buildkit 缓存启动buildkitd … 加载buildkit 缓存 async Pod 等待 buildctl调用 … sync Buildkit ➀ Deamon 缓存gc 缓存上传等待完成信号缓存gc 缓存上传 sync 等待buildkitd 启动完成 • 通过增加镜像构建中相对耗时的缓存处理 &deamon启动等异步处理降低步骤耗时 ee.msup.com.cn 镜像构建通知deamon buildctl --addr tcp://localhost:$port build …

31. 构建安全 K8S构建集群的攻击面从Master发起 • Apiserver ee.msup.com.cn 从Worker发起 • 网络 • 容器安全

32. 构建安全构建集群外发起安全问题任务量租户隔离构建集群内发起网络安全容器安全 ee.msup.com.cn

33. 构建安全 OpenApi Service ➀ 租户 ➀ 租户租户配额配额配额构建任务 ➀ namespace namespace Pod runV ResourceQuota Global Networkpolicy ee.msup.com.cn • Namespace隔离租户的 pod/secret等资源 • resourceQuota限制租户滥用构建资源 • 配额控制租户的任务并发度公共构建集群 runV ResourceQuota ➀ 租户隔离构建任务构建任务 Pod Metrics Controller 鉴权 namespace Pod runV ResourceQuota

34. 构建安全 OpenApi 鉴权 Service 租户 ➀ 租户租户配额配额配额构建任务 ➁ 网络隔离构建任务构建任务公共构建集群 namespace Pod ResourceQuota ➁ ee.msup.com.cn ➁ Pod runV Metrics Controller namespace namespace runV ResourceQuota Global Networkpolicy ➁ Pod runV ResourceQuota • Networkpolicy • Selector app == build • Deny Egress -10.0.0.0/8 -172.16.0.0/12 -192.168.0.0/16

35. 构建安全 OpenApi 鉴权 Service 租户 ➀ 租户租户配额配额配额构建任务 ➂ 容器安全 • runC->runV 构建任务构建任务公共构建集群 namespace namespace Pod Metrics Controller ➂ runV ResourceQuota Pod Pod ➂ runV ResourceQuota Global Networkpolicy ee.msup.com.cn namespace ➂ runV ResourceQuota

36. 总结与展望稳定性成本构建速度构建安全易用性开放性 • spec规范，易于迁移 • 步骤的贡献 ee.msup.com.cn

37. 总结与展望稳定性成本构建速度构建安全易用性开放性 • 接口能力 • 异构场景 • 国产化 • 移动端vm ee.msup.com.cn

38. Q&A ee.msup.com.cn

39. 关注msup公众号获取更多工程效能实践案例

40. 商业化全貌 ➀ 代码托管平台 ➂ 应用构建 CI平台代码扫描函数服务 Serverless Dev 流水线Flow 商业化 CI平台 OpenApi ➀ 支持了主流的代码托管平台 • 云效Codeup Service 租户管理构建任务配额/ 账单日志数仓集群管理构建调度 ➁ 支持了常见的制品仓库类型 • 云效统一制品仓库packages 集群伸缩缓存步骤 Registry 集群度量 ➁ 制品仓库 Maven Repository 构建资源共享公共集群 Npm仓库物理机/虚拟机 K8S Docker仓库 … ee.msup.com.cn Job Controller 租户独占私有集群构建任务pod Job Runner 构建任务容器 ➂ 支撑了多种服务类型 • 云效Codeup代码扫描 • 云效流水线Flow