云原生数据库管控探索和实践

1. 云原生数据库管控探索和实践孙勇福腾讯云数据库专家工程师

2.

3. 个人介绍 l 孙勇福，腾讯云数据库专家工程师，腾讯云数据库“云巢”负责人，8年数据库相关研发经验 l 从零设计腾讯云数据库云原生DBPaaS“云巢”平台，并参与多款腾讯云数据库产品从零到一落地。致力于提供易用/稳定/安全的数据库库产品服务，具备丰富的数据库产品研发等技术经验。

4. • PaaS平台背景 • 整体架构演进 • 未来展望 • Q&A

5. PaaS平台背景数据库发展云计算形态 SQL NoSQL NewSQ mysql L mong sqlsvr oracle es hbase 单云多云 TiDB cynos arura 传统IT 架构私有云混合云公有云数据库技术迭代速度加快，应用场景愈加复杂

6. PaaS平台背景产品矩阵 DTS DTS DBbrain DBbrain DBS DMC DBAudit DBS PaaS平台 DMC DBAudit MySQL MySQL CTSDB CTSDB PostgreSQL TcaplusDB TDSQL PostSQL 烟囱发展走向一体化解决 TcDB TDSQL ….. …..

7. PaaS平台背景 Ø PaaS平台核心规范标准统一规范标准为数据库服务一体化提供基础，标准地层硬件设施，减少差异化定制影响。能力增强 1 2 安全稳定安全稳定是数据库基础，将数据库沉淀作为标准化产品减少人为影响，满足客户高可用要求 PaaS 平台 4 3 降本增效建立通用的PaaS平台能力为新数据类型数据库统一管理，提供生命周期统一管理能力，降能力扩展奠定基础。同时为多产品之间低系统复杂性。产品之间经验相互积累，提高产品融合满足多场景要求提供可能。开发和维护效率。

8. PaaS平台背景产品能力资源管理应用管理镜像管理产品运营监控告警可观测性权限控制联合PaaS提供更多应用体验应用管理作业平台调度系统数据迁移 SQL管理智能DBA … 应用定义云原生统一资源模型标准，提供多种PaaS服务服务整合 TDStore CRedis LibraDB KonisGraph Etcd TDMQ 云巢资源管理资源调度容器底座网络调度本地盘/云盘调度资源装箱 …… 进程保护 K8S X86/TencentOS 鲲鹏/麒麟 Arm/Tencent OS ……. …

9. • PaaS平台背景 • 整体架构演进 • 未来展望 • Q&A

10. 整体架构演进容器编排有状态服务 PaaS平台思考?

11. 整体架构演进 Ø 开源社区 operator ? 一体化解决？

12. 整体架构演进业务产品资源管理运维集群管理 HA Flow_manager 事件 Argo-engine WF 1 2 3 资源调度管理 Meta_controller create upgrade 资源管理告警 CRD CRD 业务作业台日志 CRD CRD Jobs 资源调度管理 K8S CBS COS CVM VPC CLS

13. 整体架构演进 Ø 业务常见模型分析： Ø 云巢平台： l 主从关系： MySQL/SQLSvr/PostgreSQL/Redis l 使用K8S CRD 模型抽象数据库资源拓扑 l 多层树状类型：TDSQL l 模型对象统一调度管理 l 网状结构：Codis/Clickhouse/MGR/Tbase/CynosDB/TiDB 云巢平台数据库实例模型 Master 计算节点 proxy Slave M-S 主从类型流程系统 M-S 树状类型协调资源管理系统 HA系统 CRD 分布式存储网状类型 cluster 主从类型 M S 网状类型树状类型 • poxy p r o x y set 计算 M-S K8S 物理分布协调存储 pod pod set pod pod K8S 容器模型 pod pod

14. 整体架构演进 Ø 属性拆分 Clickhouse Clickhouse cluster cluster 依赖 Zookeeper Clickhouse Zookeeper Clickhouse 访问组网组网资源拓扑资源属性

15. 整体架构演进 Ø 自定义产品模型领域模型变化：领域知识 SchedulerPolicy Ingress cluster relationship Probe policy 固定：标准定义 backup policy ……. 控制器

16. 整体架构演进 Ø 容器控制 Service client Pod ü 业务容器增强业务容器 ü 集中管理控制器 ü 灵活控制配置文件 ü 业务资源隔离脚本命令服务发现 Sidecar

17. 整体架构演进 Ø 方案设计： Ø 方案目标： l 满足节点启动顺序要求 l POD 并发创建 l 兼顾发货效率要求 l Init-container 阻塞业务进程 l 业务自定义依赖启动策略串行启动，随着节点数增加性能急剧下降 Ø 容器能力分析： l POD 控制器生命周期 hook 点: init-container wait Zk initcontaine r Init-2 Pre-start ck wait init initcontainer run Biz- tim container e init runt Biz- ime container Init-1 Init-container Quit 并行创建 POD init runt ime Main-container Liveness probe • 统一资源生命周期控制器，优化调度逻辑 Readiness probe • 设置自定义资源控制策略模型 Pre-stop 16 启动策略控制器 zk initcontainer Biz- container CK ck wait init initcontainer runti Biz-container me

18. 整体架构演进 Ø 难点 Ø 云巢配置中心 l CRD 是数据库实例的元数据层，数据库启动配置依赖CRD l Val_translater 配置文件，通过 starlark 提供类Python语法提供简单编程 l Translater 层不能有侵入性 l 业务配置文件接入，无侵入云巢平台 values CRD 获取value 配置模版获取tpl Val_translater 文件 def main(args): encode = json.encode names = strings.Split(args.pod.name, "-”) data = { "pod": args.pod, " myId": names[len(names)-1] , } return {"public": data, "__debug": args } 灵活语法支持配置中心配置模版控制器发货：下发配置运行：下发配置 init runti me set1 wait initcontainer init Biz-container runti me Sidecar-agent Set2 wait initcontainer Biz-container Sidecar-agent 渲染 <ip>{{.public.pod.podIp}}</ip> <myid>{{.public.myId}}</myid> <ip>9.166.11.15</ip> <myid>0</myid> 17

19. 整体架构演进 Ø 高可用考虑 Write Clickhouse集群 MySQL集群资源抢占服务故障主从关系 MySQL 网络故障 MySQL Zookeeper Data Clickhouse Data 进程故障：代码bug/oom/进程假死等网络故障：网络隔离等导致组件无法联资源抢占：运行实例POD 由于故障销 Pod 故障：驱逐/误删等通毁重建，资源被新增实例抢占无法恢复

20. 整体架构演进 Ø 方案 Ø 问题点 l K8s l 开发健康检查不满足业务需求 l 实例异常判定比较复杂：多维度数据采集策略模型异常事件 POD Tcp/http cmd Khaos-probe kubelet 拨测任务拨测系统拨测系统 • 管控命令 • • Liveness check HA策略树指标 exec api HA_Brain 监测系统事件系统 • probe l 多维度数据采集，业务配置异常情况决策模型进程假死/网络隔离/磁盘只读？ NODE khaos-probe 拓展 k8s liveness check 能力 • 云巢管控云巢管控云巢管控 HA 处理 HA领域算子

21. 整体架构演进 Ø 网络安全 l NetworkPolicy 限制最小化网络访问权限 l 用户请求链路通过安全组进行安全过滤 Node ZK-A 云巢网络 Network-policy eth eth 0 0 租户网络 Node CK-A eth1 安全组 GW VPC-B GW VPC-B X ZK-B Network-policy eth eth 0 0 防火墙 CK-B eth1 安全组

22. 整体架构演进 Ø 多集群管理 l 提供秒级集群元数据采集，信息维护 l 提供m_scheduler 集群级别装箱调度器，实现业务上层资源集群无感知集群管理 m_scheduler m_controller m_node 控制链路资源集群资源集群 CRD CRD 资源调度管理 CRD CRD 资源调度管理

23. 整体架构演进 Ø 性能优化 1. 2. 请求流量进入负载均衡请求被负载均衡转发到某一个Pod的ENI弹性网卡 LB NodePort NodePort NodePort Kube proxy Kube proxy Kube proxy Conatiner Network POD POD POD POD POD POD • QPS 提高13% • 延迟优化10%

24. 整体架构演进 Ø 稳定性验证 l 混沌测试平台chaos-mesh引入，提供系统整体可用性评估场景测试 Daily Bulid WF DSL-Engine 1 2 Failover场景 3 网络异常场景 • • • DSL 编排沉淀现网异常流程场景 1. 异常删除场景 2. 网络异常场景等，测试 case 集合云巢DBPaaS平台 Chaos混沌平台稳定性沉淀 K8s api-server Create / Delete/ Update Event List / Kill POD Chaos controller manager Chaos deamon kubelet Inject stress/Network/IO/… POD 引入开源chaos 平台，进行混沌测试 1. POD 任意KILL 2. 注入网络异常 3. 设置IO延迟等场景，测试系统稳定性

25. 整体架构演进 Ø SaaS融合，一体化输出 ü 应用层整合 SaaS产品云巢DBPaaS平台资源管理集群管理运维管理 ü 标准能力输出网络资源存储资源生命周管理资源编排运维系统配置中心计算资源命令通道可观测系统发布管理混沌平台版本管理实例管理镜像资源日志采集公共服务作业管理运营平台策略管理 CI/CD ü 容器层提供硬件屏蔽 K8S CBS COS CVM 监控告警 VPC CLS ü IaaS层提供基础能力

26. • PaaS平台背景 • 整体架构演进 • 未来展望 • Q&A

27. 未来展望 Ø 智能自治，千人千库自治场景对比智能化进程传统方式自治化智能化自动化数据库压力过大，负载过高。慢查询过多，数据库响应比较慢。 ·人工kill会话 · 重启数据库 · HA主备切换 VS 自治方式 ·7*24 小时异常诊断 ·流量自动过滤阻断 ·SQL自动优化调整

28. 未来展望 Ø 开源共建，回馈社区经验沉淀海量验证促进/回馈云环境开源 PaaS 平台统一解决方案社区。。。最佳实践社区生态场景补充。。。反馈/优化行业规范

29. 扫码进入现场交流群

30.

31.