云原生基础设施之数据中心操作系统建设之路

如果无法正常显示，请先停止浏览器的去广告插件。

2. 云原生基础设施之数据中心操作系统建设之路

3. 三墩IT人

4. Part 1 背景与历程

5. 什么是 DCOS DataCenter Operating System 数据中心操作系统

6. 为什么需要 DCOS 如何提升利用率部署效率弹性伸缩

7. DCOS赋予能力 IT 提高资源使用快速扩展的支撑力率业务最新市场活动最佳用户体验 3 4 异常服务的快 5 环境统一最大用户并发测试生产速隔离和发布高效的弹性伸缩应用级的微隔离合理的成本控制

8. DCOS建设思路服务能力 DevSecOps 持续集成服务网格/微服务数据库 Micro Service Serverless 安全防护中间件 Service Mesh n 容器运行时接口：兼容不同种类容器，满足不同应用需求，加速应用原生化更好的构建应用 Service Mash Cloud Native Runtime n 容器网络接口：通过容器SDN网络实现租户级别的网络隔离和应用安全防火墙，状态应用原生化，拓展业务上云范围机器学习区块链边缘计算 n 服务化：原生新一代轻量级微服务技术，实现业务逻辑与服务框架的解耦。 n 可观测性：实时掌握软件运行情况，不 Cloud Native Network Metric/Log/Tracing DCOS 提升应用安全水平。 n 容器存储接口：对接多种存储，实现有创新服务组件 Cloud Native Storge 断对业务健康度和用户体验进行数字化衡量和持续优化 Security n 零信任：构建预防、检测、防御为一体的容器全生命周期安全环境。

9. DCOS建设历程 201505 201511 201606 201806 201906 202006 云起浙里 • 浙江移动提出“云起 • 浙里时，新一代云平台建设”总体建设规划及可行性技术论证。手厅试点浙江移动手机营业厅系统成功试点，顺利通过双 11充值1折秒杀活动验证。 CRM试点双平面 • 基于微服务框架的账户中心、开通中心成功上线。 • 完成DCOS 平台双平面功能建设双引擎 • 扩充DCOS平台异构能力，实现双引擎能力上线。云原生 • 进一步拥抱云原生，打造更好用的容器云平台。

10. Part 2 建设与挑战

11. DCOS功能设计 PaaS门户多平面控制器单平面控制器租户管理模块资源管理模块租户管理资源分配管理 …… 租户管理 OpenAPI 门户、统一接口应用管理模块应用调度应用编排计算资源分配与申请管理存储资源分配与申请管理无状态应用编排有状态应用编排集群纳管存储纳管 Helm模板编排批处理应用编排定时任务编排用户管理用户管理权限管理应用服务管理应用操作管理多平面应用调度灰度升级应用服务管理多平面组件调度滚动升级软负载管理软负载安装部署用户管理模块组件应用编排软负载分配管理应用调度集群调度用户同步亲和性调度弹性伸缩调度应用服务详情平面调度配置分发组件模板编排应用操作组件调度应用服务管理应用服务操作组件应用调度单平面服务应用启停操作弹性伸缩调度单平面服务详情容器操作 K8s集群管理模块 k8s集群代理映射多集群纳管 k8s接口适配 Kubernetes资源池（ARM）计算存储 k8s多版本适配 Kubernetes资源池（X86）网络计算存储网络

12. DCOS技术组成应用引擎应用管理应用组件数据库 Controller 缓存 Controller 应用配置消息队列 Controller AI Controller 监控 Controller 日志 Controller 链路追踪 Controller 批处理配置模版 Envoy Controller 性能 Controller 服务网格容器编排 ISTIO Kubernetes资源对象+Operator扩展模式 CRD 技术服务组件数据库缓存容器运行时基础设施应用特征编排消息队列可观察性服务组件 AI 监控日志 runC 计算（X86、ARM）（GPU）工具组件 CRD 链路追踪 Helm Harbor 性能 Nvidia-container-runtime 存储（文件、对象、块）网络（Calico、NSX-T） drag onfly

13. 领域资源模型 Region-A Region-B AZ(Available Zone) AZ(Available Zone) Env(Environment) Pln(Plane) Cell Cell AZ(Available Zone) Env(Environment) Pln(Plane) Clst Pln(Plane) Cell Cell Clst …… Env(Environment) Pln(Plane) Cell Env(Environment) Pln(Plane) Cell Env(Environment) Pln(Plane) Cell

14. 多集群统一纳管 DCOS管理面可用区B 可用区A etcd etcd API Server Scheduler etcd API Server Controller Manager Scheduler kubelet API Server Controller Manager Scheduler Controller Manager 应用B 应用A kubelet 可用区C kubelet kubelet kubelet kubelet

15. 自助式应用上云租户平台维护容器开通并上传调研表生成开通工单填写应用名称制作镜像应用调试资源工单选择管理节点应用调试填写应用相关参数保姆式服务完成容器开通应用调试容器开通调试通过租户应用联调修改镜像平台维护修改应用配置分配HA 服务开放，效率提升，应用容器秒级开通租户容器开通并上传调研表完成应用开通并结束工单应用调试修改镜像转变结束开通工单自助式服务修改应用配置调试通过

16. DCOS异构计算资源兼容统一构建、统一编排、统一调度、统一观测开发代码库应用管理构建应用编排应用调度 Kubernetes 控制节点 ARM镜像应用观测 Kubernetes 控制节点 X86镜像统一镜像 kubelet kubelet 自适应下载 kubelet kubelet

17. 基于数字化的智能运维数据基座高效执行 n 全面的监控对象覆盖：IaaS、PaaS、SaaS全覆盖，近千个监控指标。 n 完善的服务化融通：基于组件原生能力，结合运维场景，进行接口化封装。重启扩容隔离数字驱动运维升级切流智能决策 Hang机 CPU耗尽 NTP同步内存耗尽磁盘满 … 容器 … … IaaS PaaS SaaS n 海量数据的高效处理：每分钟处理千万条数据。敏锐感知 n 灵活的告警策略配：自由组合监控指标，设置阀值定义等级，形成告警规则。 n 可靠的自动驾驶：实践形成大量自愈规则，辅助系统自我故障修复。主机 … GC耗时 … n 丰富的可视化视图：按需订阅，千人千面 … 指标日志调用链

18. 基于服务网格功的服务治理请求流向服务监控：服务监控 ①自定义监控规则； ②自定义告警方式；流量控制流量控制： ①主动通知应用进行失效转移； ②主动限制部分服务流量；服务跟踪正常流量繁忙流量拥堵流量异常服务正常服务服务跟踪： ①快速定位异常服务；

19. 灰度发布 Cookie引流因素一 l 应用范围包括前台、中台、平台三类。应用范围 IP引流因素二引流控制点 l 引流控制点可以在负载均衡和应用自身上。因素三 l 主动引流式蓝绿发布+金丝雀发布。白名单引流六大模式可用区引流版本引流发布过程金丝雀环境

20. 传统代码发布的问题 Ø 性能问题 Please replace text, click add relevant headline, modify the text content, also can copy your content to this directly.。 n 1对N的分发，存在极大性能瓶颈。 Ø 可靠性问题 n 代码包的完整性和一致性无法保障。 Ø 灵活性问题 n 人工介入多，拖敏捷发布后腿。

21. DCOS高速镜像发布镜像同步镜像同步镜像同步读镜像库主镜像库主镜像库读镜像库 Supernode Supernode Supernode Supernode Worker Ø 镜像库读写分离 Worker Ø P2P镜像下载加速 DFClient DFClient DFClient DFClient DFClient DFClient Worker Worker Worker Worker

22. 基础设施安全问题 n BUILD n SHIP 容器的全生命周期都存在安全问题容器镜像在build之后，可能存在各种漏洞问题，公有镜像源中的镜像1/2以上存在高危或高危以上的漏洞问题。 SHIP 镜像在传输过程可能篡改，私有镜像仓库registry是否开启认证。 n RUN 容器内的应用可能存在漏洞，容器内存在恶意程序对其他容器发起横向攻击，容器的配置不当，拥有对宿主机的访问权限，容器的宿主机内核存在漏洞引起容器逃逸，容器编排系统存在API访问漏洞等。 Ø 容器引擎承载容器的基础设施存在安全问题容器引擎从对业界最流行的容器实现技术Docker分析来看，Docker自2014年正式发布以来已累计共发现几十个相关漏洞。调度引擎 Ø 调度引擎操作系统&内核大量容器编排平台目前暴露在互联网上，包括广泛使用的容器编排平台Kubernetes。 Ø 操作系统&内核操作系统和内核层面的漏洞更新相当频繁。

23. 安全防护措施以容器基础环境安全、镜像安全、容器边界安全以及容器运行安全为核心，构建容器全生命周期安全防护流程。镜像构建镜像仓库构建规范仓库加固租户网络隔离容器异常检测镜像扫描容器网络隔离容器异常隔离镜像阻断容器访问限制边界安全分布式防火墙容器运行容器运行监控镜像安全多租户隔离入侵监测与防控主机基线合规容器基线合规集群基线合规基础环境安全

24. 基础设施安全建立数据中心资产的安全检查机制、安全加固机制，从宿主机、集群环境、Docker本身等维度实现安全扫描与加固，保障基础环境的安全。 Ø 容器组件是提供容器化服务的主要载体，容器组件的安全直接影响着整个容器环境的安全。组件漏洞扫描与修复 4 2 3 容器统计主机统计组件访问安全审计组件访问策略限制主机入侵防护和检测，防止宿主机防暴力破解，异常登陆检测，非法外联，反弹shell等 1 镜像统计实现对宿主机的漏洞扫描与安全加固组件配置合规检查 Ø 层级式展示主机、容器、容器关系，数字化安全风险，可对安全风险一目了然。 Ø 容器基于宿主机运行，并于宿主机共享内核，因此宿主机的安全很大程度上影响了容器的安全运行可视化展示容器组件加固宿主机安全风险总览

25. 镜像安全镜像安全主要对镜像仓库以及计算节点上应用镜像的补丁、中间件版本漏洞、病毒木马以及webshell和敏感信息等，然后设置阻断规则，阻断异常镜像的运行。 n 仓库镜像扫描分层扫描镜像文件并与CVE库进行对比 n 节点镜像扫描通过节点代理定时扫描节点镜像支持主流镜像仓库扫描镜像构建获取镜像列表镜像仓库镜像选择与部署版本漏洞异常镜像阻断编排调度镜像拉取病毒木马 webshell 敏感信息应用容器支持主流镜像仓库扫描 n 镜像阻断支持阻止低于安全等级的镜像下发

26. 容器运行安全提供多锚点的入侵检测能力，实时准确地感知入侵事件，发现异常容器，提供对异常容器的隔离响应手段，形成安全闭环暴力破解 1 p 通过实施监控登陆实时扫描异常隔离暴力破解 Web后门 2 p 自动监控关键Web 行为，及时自动化目录，结合恶意样发现暴力破解对容本库等检测方法，器的攻击行为实现感知文件变化。及时发现Web后门容器运行安全闭环反弹Shell ……. Web后门反弹Shell 3 本地提权监控 p 对用户容器进程进 p 对用户容器进程行实时监控，及时进行实时监控，发现非法Shell连接及时发现容器内操作，识别反弹的非法提权行为 shell行为操作 4 恶意命令执行 5 p 对用户容器进程进行实时监控，结合规则库对例如SSH 端口转发等恶意命令进行识别

27. 微隔离安全要求各租户应用实例之间可互相连通，若某个实例被入侵极易在集群里扩散安全风险。 CMNET DMZ区非安全区 DMZ负载边界防火墙缓冲区集群A 集群B 边界防火墙集群C 集群D 集群E 核心区核心负载集群F 安全风险扩散安全区 PaaS

28. 应用访问隔离根据标签将不同租户应用分组，根据分组设置分布式防火墙，实现租户级东西向流量隔离。 sec:t1 容器网络租户1 DFW sec:t2 租户2 DFW sec:t3 租户3 DFW VM vNIC 策略匹配 Conn DFW（分布式防火墙） State Filter Rule N-VDS（分布式交换机）

29. Part 3 思考与探索

30. 智能负载均衡智能多云自动化 CONTROLLER 控制和数据平面分离私有云弹性裸金属虚拟机容器虚拟机容器共有云

31. 融合调度 Ø 融合容器与虚拟机 runC runV Container Virtual Machine Bare Metal Kubernetes Cluster Ø 异构容器运行时runC和runV

32.