OPPO 服务全球化与混合云平台建设实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. OPPO服务全球化与混合云平台建设实践向俊峰 | OPPO云计算中心弹性计算架构师

3. 目录 • OPPO服务全球化现状 • 为什么要建设混合云平台 • 如何建设混合云平台 • 混合云平台未来展望

4. OPPO服务全球化现状

5. 业务生态现状云 IoT服务主题商店语音助手游戏中心 • 终端快应用小游戏软件商店 • 应用 • 硬件：手机/电视/手表/手环以及其他IoT设备； • 应用分发：软件商店，小游戏； • 系统：手机/电视/手表/手环以及其他IoT相关系统， • 应用服务：主题商店，游戏中心，快应用（小程协议，组件等； • 底层开放引擎：性能，网络，影像，多媒体，AR； • 平台 • 云平台（含运营），云相册，云⻔户，云游戏，云视频，云桌面，营销平台，广告平台，AI平台， IoT 平台，金融平台； • To B：技术平台和数据平台输出；序），浏览器，全文搜素，AI 服务（语音，视频等），推送； • 内容 • 内容库：带数字版权的音频和视频，UGC相关内容（文字，图片，小视频，短视频等）； • 内容运营：云游戏，云视频，音乐商店，电视多媒体等；

6. 用户全球化现状 ColorOS 全球月活用户突破 5 亿 *数据来源于OPPO数据中心，统计截止至2022-1-31

7. 服务全球化部署现状欧洲区域华北区域南亚区域北美区域日本区域华南区域东南亚区域南美区域非洲区域自有IDC 自有IDC+公有云浏览器、锁屏杂志、应用商店、主题商店、金融、游戏、会员、 OS 等公有云

8. 为什么要建设混合云平台

9. 服务全球化面临的挑战服务质量全球化资源成本交付效率隐私安全

10. 基础设施建设要求晚于战略出发先于业务到达自有IDC 公有云混合云

11. 如何建设混合云平台

12. 混合云平台建设理念商店/游戏软件商店广应用主题商店游小戏游中戏心内容分发互联网服务内容产品智能服务浏锁视阅读览屏频音书器乐城全快智语局应能健音搜用家康索居搜索推荐视频云云游戏金融服务金融快应用钱包用户服务会云账服商员号务城服务支付 OCloud 账户管理移动服务账号服务推送服务广告服务 IoT服务游戏服务企业协作通讯工具金融服务办公套件云电脑 AI大数据企业办公企业云盘研发桌面端云协同企业数字化软工人理财物管手软编译⻢里亚纳手生芯软发产片构包设建分计芯片设计企业IT 芯片验证手软构建混合云管理可观测厚平台计算存储网络数据库中间件研发效能移动平台企业IT 云服务器对象存储虚拟私有云关系数据库消息队列服务项目管理 UI组件办公套件 GPU云服务器块存储弹性负载均衡 KV数据库数据访问服务代码托管网络组件云桌面 Serverless 文件存储弹性公网IP 文档数据库 API网关流水线动态化组件文件分发虚拟化存储网关 NAT网关时序数据库微服务框架 CICD 存储组件企业网盘异构计算日志服务云解析分布式数据库服务网格制品仓库应用发布内部IT服务测试管理移动分析云容器服务宽底座边缘计算智能运维 HTAP数据库 IDC/基础网络边缘节点公有云数据存储

13. 混合云平台建设核心目标提质、降本、增效、自主、合规

14. 传统基础设施服务架构的弊端机型碎片化 • 以服务器为单位交付业务，不同业务场景需要提供不同机型 • 业务倾向于针对业务场景定制机型和运行时环境 • 业务场景多造成机型更加碎片化 • 资源小池化 • • • 管理分散化机器资源需求可能无法快速满足，业务倾向于多采买服务器，建立专用资源池多个业务线，多个资源池 1个灵活调配的IDC级别资源池各业务机器各自管理，或者由对应的业务运维管理 • 交付效率低，弹性能力差 • • 资源池闲置机器多，拉低整体资源利用率水位，公司整体服务器成本虚高。 • 系统版本、分区、账号、依赖组件、业务日志与数据相关路径、监控等规范不统一，容易造成运维标准、规范的不统一，线上环境乱，阻碍自动化实施，造成运维管理效率低，需要不断堆人来支撑业务扩张资源冗余多，业务成本高标准不统一，运维效率低不同机型，操作系统、运行时环境要求不一致，很难用标准化的流程交付机型通用性差，若机型采购配比不合理，特定场景无法提供足够数量的机型部署业务自有 IDC+ 公有云使用传统基础设施架构，在降本增效方面作用有限

15. 混合云平台架构三阶段两转变 • • • • 业务应用进程以服务器为单位向上层业务供给资源基础设施服务架构不统一，管理界面不统一业务应用能感知基础设施差异应用使用二进制包部署在线业务大数据基接入日志础服务服务服务注册 CI/ 进中心 CD 程存储中间服务件机器学习企业 IT 监控服务运维管理 CM DB 域名解析数据库配置中心计算物理机专网自有IDC 在线业务阶段三阶段二阶段一企业 IT • • • • 公有云大数据服务基础服务进程公有云基础服务接入服务注配域名册置运解析中中中间维心心件管数据理库存储云主机服务公有云业务应用进程基础服务进程以服务器为单位向上层业务供给资源基础设施服务架构统一，管理界面统一对业务应用屏蔽底层基础设施差异应用使用二进制包部署 • • • • 大数据业务应用容器在线业务接入服务注册中心存储服务机器学习日志服务监控服务 CI/CD CMDB 中间件数据库企业IT 运维管理域名解析基础服务容器配置中心计算、网络、存储资源云化，实现云化资源交付基础设施服务架构统一，管理界面统一对业务应用屏蔽底层基础设施差异互联网应用基本实现云上容器化部署在线业务大数据机器学习接入服务域名解析配置中心注册中心 CI/CD CMDB 存储服务中间件数据库定制Kubernetes容器平台（CSP）企业IT 运维服务监控服务日志服务告警服务计算物理机云主机计算物理机云主机专网自有IDC 公有云专网自有IDC 公有云转变一：基础设施服务架构统一，向上屏蔽底层基础设施差异转变二：基础设施云化，应用实现上云容器化部署

16. 混合云平台架构现状 CI/CD 中间件/数据库混合云平台安全机器学习运维大数据代码管理发布单 Redis MongoDB 安全密钥云训练 Flink Yarn 资源账单持续集成持续部署 RocketMQ MySQL 安全网关模型管理 ClickHouse Hbase 资源大盘服务管理配置中心 Kafka Zookeeper 动态防火墙模型部署数据湖 Hive 日志服务平台运维平台基础镜像中心注册中心云调度 CMDB 容器网络(NetHouse) Kubernetes(CSP、OKE) 接入层管理云监控灾难管理对象存储(OCS) 质量管理基础设施公有云自有IDC 裸金属 DNS 机房网络 DPVS 虚拟机 DNS 告警系统 VPC 负载均衡时序数据库

17. 混合云高可用管理混合云公有云区域可用区逻辑可用区集群自有IDC 新加坡A区新加坡互服A区新加坡-A-集群1 北京印度新加坡新加坡B区机房A 机房B 机房C 新加坡互服B区互服区互服区金融区互服区新加坡-B-集群1 孟买-机房A-集群1 孟买-机房B-集群1 孟买-机房B-集群2 集群1 四级管理概念，高可用、隔离性、规模三方面考量，公有云高可用主要依赖公有云多可用区

18. 统一管理平台，一致体验应用部署中间件申请数据库申请网关申请监控/日志查看 OPPO 云服务控制台国内自建IDC X市-机房A-集群1 海外公有云某区域可用区-A-1 海外自有IDC Y市-机房A-集群1 应用容器网关容器应用容器网关容器应用容器网关容器中间件容器数据库容器中间件容器数据库容器中间件容器数据库容器日志容器监控容器日志容器监控容器日志容器监控容器

19. 统一管理平台，一致体验

20. 统一管理平台，一致体验

21. 云化资源高效交付弹性伸缩 1分钟云主机平台（terraform） 10分钟公有云云主机 15分钟 30分钟基础运维 5分钟裸金属平台（PXE） 20分钟物理机在线业务定制Kubernetes集群（CSP） 5分钟 5分钟弹性伸缩 1分钟虚拟机管理 5分钟虚拟机 5分钟原生Kubernetes集群（OKE）云化资源供给大数据机器学习胖容器、原生容器 (7：3）原生容器

22. 镜像全球分发镜像分发网络镜像分发网络编译构建镜像缓存代理 pull 镜像缓存代理 pull 镜像缓存代理 pull K8s集群 push 统一镜像中心（Harbor） pull K8s集群 K8s集群一处构建，全球分发；本地缓存，增量拉取

23. 就近调度（非单元调度）归属欧盟地区（法国、德国、英国…） • 主要是依靠传统DNS，如DNS Pod • 根据用户IP本身信息如归属地区、归属运营商来解析最优IP • 用户的地理位置改变，接入IDC可能改变 IP 欧盟地区IDC • 主要是依靠HTTP DNS，客户端集成SDK • 按地域、按设备、按用户划分单元，单元和机房对应，根据单元归属机房来解析最优IP • 划分单元后，用户地理位置改变，接入IDC不变欧盟地区（法国、德国、英国…）用户位置改变，用户单元不变用户位置改变东南亚地区（新加坡、泰国、越南…) 单元调度 IP 新加坡地区IDC 东南亚地区（新加坡、泰国、越南…）严格遵守各地隐私安全政策，合规接入 IDC 就近接入与合规接入欧盟地区IDC

24. 欧盟地区运营&运维基本原则禁止 • 禁止用户数据从欧盟出境，包括但不限于用户基本信息、用户身份信息、用户位置信息、用户生理健康信息、用户设备、个人财产、联系人信息等 • 禁止跨境查看未经脱敏的用户数据，包括查看业务日志、操作数据库及表结构，因为可能有IMEI等个人信息管控方式服务器访问管理后台访问允许 • 操作系统调试，如安装软件、修改配置、查看系统日志 • 网络设备调试，如网络设备安装、调试 • 机器维度及应用维度基础监控数据查看 • 应用生命周期管理，如部署、启停、状态收集等服务端调用 • 所有欧盟服务器必须通过欧盟堡垒机登录 • 所有欧盟服务器只放行欧盟堡垒机登录 • 登录限按需申请 • 业务运营人员尽量本地化，禁止非欧盟地区办公网直接访问 • 非欧盟地区办公网通过欧盟亚⻢逊云Windows机器中转访问，特殊情况按需申请 • 业务后台显示数据不能涉及用户个人数据，需进行脱敏处理 • 欧盟与非欧盟区域网络默认隔离，按需打通，如果涉及用户数据需要经过隐私合规评审 • 用户个人数据禁止跨境传输

25. 欧盟地区运营&运维

26. 混合云时区管理历史现状国内：使用CST时区国内：统一CST时区海外：存在UTC、CST、EST、IST时区，甚至一个机房存在多个时区设置海外：统一UTC时区标准化方案存量： 1、国内保持CST现状，不用改造 2、海外物理机和容器改造为UTC，特殊场景保持现状增量： 1、初始化时，国内机器使用CST，海外机器使用UTC 2、容器和宿主机时区保持一致，基础镜像删除/etc/localtime，容器启动时挂载宿主机/etc/locatime文件 3、如果特殊场景容器需要自定义时区，则部署时设置环境变量，启动时基础镜像中的Prestart脚本根据环境变量设置容器时区多时区应对方案 1、程序改造使用时间戳，不依赖时区，如监控数据上报metrics使用时间戳 2、平台或应用支持时区自动转换，也支持时区配置，如查看监控报表、告警默认按照UTC时间查看。 3、业务层面的一些策略可以设置分时区、不分时区，如希望按照中国时间晚上8点下发一个配置，则选择不分时区，如果希望按照各地的晚上8 点下发一个配置，则选择分时区，就会按照各个国家和地区当地时间晚上8点下发。

27. 混合云平台未来展望

28. 基础设施云原生化自动化集成敏捷化运维声明式自动打通周边系统自动化生命周期管理，故障自愈松耦合旁路系统状态最终一致云调度 (域名管理平台) 配额管理平台 (cloud-quota) 域名管理 (dns-operator) 配额管理 (quota-operator) 注册中心 CMDB 自动注册管理 (register) Kubernetes 云化基础设施升级云原生基础设施支撑有状态服务管理 (cronus) 固定ip管理 (location) Redis-operator Mysql-operator 持续部署容器网络 NetHouse Redis平台数据库管理平台应用从上云，转变为生于云，⻓于云的云原生架构

29. 在线与离线混合部署 1.创建yarn nodemanager crd实例大数据平台物理机Node kube-apiserver 5.调度 spark/flink/hive/mr作业 Spark task Flink task MR task Hive task Hive task MR task 物理机Node yarn-operator 3. 创建YARN-NM Pod 物理机Node 物理机Node YARN-NM Pod 虚拟机Node YARN-NM Pod 云原生Kubernetes集群（OKE） MR task YARN-NM 2. watch yarn nm crd 实例 YARN-NM YARN-NM 弹性伸缩 4.注册yarn nodemanager到yarn集群 YARN-RM 大数据Yarn集群在线业务Pod 物理机Node 物理机Node 虚拟机Pod 1.CSP集群离线计算虚拟机Pod和在线业务Pod混合部署 2.夜间离线计算高峰期，从CSP集群申请虚拟机为OKE集群提供额外算虚拟机 YARN-NM Pod 力，低峰期销毁 3.通过云原生的yarn operator将OKE集群上的YARN-NM Pod注册为为大数据集群YARN NM来弹性提供算力物理机Node 混合部署、算力借调定制化Kubernetes集群（CSP）

30. 分享总结

31. • 通过自有IDC+公有云多可用区基本实现了各大洲的用户就近接入，降低访问时延，保障服务可用性 • 结合CDN技术，加速图片、视频、应用等大文件下载提质 • 降本自主实现基础设施服务如中间件、数据库、存储、接入服 • 务、域名解析、大数据等基础服务相关能力自主实现了大数据与算法能力自主 • 取缔资源小池，构建资源大池，并通过资源云化供给，提升了资源用率，2020 年、2021年盘活存量资源，减少服务器采买，每年节省亿级服务器成本； • 基础设施服务架构统一，降低基础设施相关服务管理和使用成本，如云相册数据迁移自研存储，每年节省千万级存储成本 • 大数据与在线业务混部，并弹性借调在线业务算力，实现2022年大数据服务器基本零采购。增效 • 通过使用公有云，开服周期到从数月降低到数周； • 通过构建混合云平台，资源交付周期从数天降低到数小时； • 通过使用CI/CD和相关云产品，业务部署周期从数小时降低到数分钟； • 通过基础设施管理标准化、自动化、原生化，大幅提升运维效率。合规 • 通过单元化合规接入，并通过网络、应用层面的管控，实现用户数据合规存储和使用

32.

33.