混合云环境下的数据库治理实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 混合云环境下的数据库治理实践演讲人：蔡鹏全球敏捷运维峰会广州站

2. 货拉拉介绍 2020 500人 2021 2000人覆盖5个国家及地区香港 : Lalamove团队国内 : 技术团队 (深圳、上海、北京、杭州、武汉) 全球敏捷运维峰会广州站

3. 目录 02 01 02 03 混合云数据库治理背景介绍 04 经过一年建设取得的成效 05 云时代下对 DBA的一点思考混合云下数据库治挑战混合云数据库管理平台介绍全球敏捷运维峰会广州站

4. 混合云数据库治理背景介绍全球敏捷运维峰会广州站

5. 混合云数据库治理背景治理瓶颈突出老板很生气系统稳定性差 Excel式运维管控系统40+ 纯人肉支撑后知后觉监控混乱被动响应无/错标准被研发吊打故障频发制约业务发展手段原始难以为续幸福感极低治理环境异常复杂 MySQL Aurora Codis Cluster Sentine l Kafka RabbitMQ PG TIDB Mongo Canal Mycat ..... 5个DBA 10款选型 3朵云 5个IDC 全球敏捷运维峰会广州站

6. 混合云数据库治理挑战全球敏捷运维峰会广州站

7. 治理挑战对云缺乏了解 1. 2. 3. 4. 自建时代积累的经验失效第一次用云、不熟悉套路交了一些“学费” 驾驭云不简单环境复杂 1. 云服务、自建服务共存 2. 存储选型繁多治理难以专精 3. 更严重的是很多选型我也第一次接触云商差异化 1. 厂商标准差异,运维方式不统一,标准化交付复杂 2. 厂商PaaS实现差异运维体验割裂统一管理复杂 1. 多云下提供一致性的运维、研发、体验难度大 2. 多云+全球化一体管能力建设复杂度高全球敏捷运维峰会广州站

8. 痛点&诉求 DBA 自动化多一点人肉少一点 DEV 流程高效一点自助化多一点 Boss 既要 | 稳定性又要 | 研发效率别让我吼还要 | 全球敏捷运维峰会广州站成本

9. 治理基本思路 A B C D E 做减法定标准建能力 70分标准优先解决生存问题果断放弃hold不住的数据库选型运维规范研发规范 SLA/SOP 平台化建设个性化订制现有后优切记完美主义优先解决致命痛点问题一言以蔽之:如何通过平台化手段落地&解决全球敏捷运维峰会广州站

10. 平台化阶段与目标实现目标治理一般演进过程 •该有的功能一个都不能少 •管控当前所有 DB选型覆盖面广功能面全提升研发效率稳定成本智能化平台化自动化脚本化没有时间去演进、要一步到位 •白屏自助 •提升研发体验 •科学合理的云资源使用全球一站式、一致性运维与研发体验全球敏捷运维峰会广州站

11. 混合云数据库管理平台介绍全球敏捷运维峰会广州站

12. 平台整体架构技术栈平台面向DBA 平台面向Dev 平台 Open-API 小程序组件集监控系统 React API-Getway 统一网关自愈系统国内新加坡 ... Service API Service API Service API Node JS SQLReview Python 任务调度数据总线 Golang ⁣ collec tor agent agent agent agent MySQL Redis Kafka ES MQ 全球敏捷运维峰会广州站无损DDL ......

13. MySQL平台化建设平台门户监控报警运维管理应急/自愈资源管理健康大盘报警触达集群管理任务系统新建资源资源交付 SQL查杀 SQL限流报警收敛报警静默实例管理归档系统资源画像资源回收 SQL阻断新增节点告警汇总河流图变更系统流程系统数据分析冷热DB 一站式运维平台规格扩容巡检系统成本管理安全合规冷热Table 容量巡检性能巡检成本趋势成本分布日志审计数据脱敏未使用表未使索引报警巡检自增水位成本汇总成本优化密码合规授权合规屏蔽多云运维差异慢查分析容量分析覆盖90% 运维场景基于云底座+自研构建国内新加坡印度巴西北美全球敏捷运维峰会广州站

14. MySQL中间件建设 DBProxy-DAL 自建起步价 : 32C-64G-1T 高规格保护数据库不被打垮解决容量扩展问题 DAL 聚合 SQL Kafka 平台全量分析 Clickh ouse DAL 128- 255 0-127 128- 255 读写分离 SQL限流全量SQL 分库分表 0-127 多语言统一访问层 ... 1023 1023 负载均衡热点 SQL SQL 分布连接复用 RT 分布 DAL 问题诊断注入拦截限流熔断平台触发自愈触发过载保护全球敏捷运维峰会广州站大容量弹性足数据库很抗揍云上小规格 2C-4~8G 4C-8~32G 8C-32~64G 16C-64G~ 在云商内核架构深度优化加持下仍旧不足以抵消小规格的弹性能力局限的问题云上同样强调数据库治理与基础能力建设自研解决云间特性差异对标准化运维、一致性体验带来的差异

15. MySQL基础工具建设 VDBA(自愈) SQL查杀/限流 SQLReview(SQL审核) SqlParser 基于开源深度校验融入DBA经验数据追踪弹性扩缩容 Gh-ost(DDL执行) 覆盖全面审核规则90+ 智斗研发审核结果画像由工具到系统的改造日志模块改造 Flashback(DML回滚) 开源深度定制性能提升并行化改造与平台深度集成应急救场(回滚) 全球敏捷运维峰会广州站对待云产品云上同样需要基本能力建设、多云环境尤其如此(更加强调兼容能力) 开源的堆砌是难以做平台化整合对待开源态度 hold住每一行代码才能打造更加趁手的系统个人思考 DBA更加倾向复合、全面、多元能力模型、低门槛高要求

16. Redis平台化建设平台门户监控大盘基础功能覆盖90%运维场景通用Agent 资源池实例替换扩缩容集群管理自动化部署超卖巡检动态抓包 RDB分析全量key分析实时慢日志 CPU低开销健壮性高场景自感知跨云探针实现差异内存严格控制维护轻量级功能动态加载覆盖所有DB选型低侵入功能集成度高通用、兼容云上ECS自建全球敏捷运维峰会广州站功能本身实现相对容易, 解决一般性运维治理问题有一定复杂度

17. Redis ServiceMesh建设 ECS PHP 解决服务治理、成本治理 Java 资源ID 资源ID ServiceMesh:LocalProxy VS ServerProxy GO local模式充分利用客户端资源,缩短链路减少云上跨AZ网络不确定性资源ID 租户数据隔离资源控制配置热更新租户鉴权 LocalProxy (sidecar) 租户数据隔离配置加载 Pipline Apollo 租户key前缀+key避免可以冲突、集群多租户模式可以最大化ECS利用率、避免cluster部署架构造成的资源浪费指标深度观测可以精准统计到各类命令的rt情况,补充现有监控不足统一访问层指标深度观测 key旁路分析命令级管控配置监听命令黑名单、统一访问层为将来接入混合云服务提供可能(混合云不做统一访问层做到命令级控制容易影响应用跨云移植) Key旁路分析&处理协议实现 Redis-Cluster 统一访问层实时大key key压缩、热key 热key缓存资源控制流量控制、连接控制(连接数、连接池) 全球敏捷运维峰会广州站

18. Kafka治理背景一众开源工具拼凑管理系统 1. 部署在各个IDC、管理分散、功能弱、不成体系管控能力弱、碎片化监控 1. 2. 3. 消费延迟监控不直观、单纯offset lag没有意义 broker监控要额外部署相关export及监控报警系统 Topic相互之间资源竞争集群内部对象状态缺乏感知 1. 2. 3. consumer/topic/partition等核心对象无收集统计,无法主动感知业务异常核心对象缺乏基础监控数据无法做沉淀分析、运维靠人肉经验指导问题定位缺乏必要的数据支持、服务稳定性完全依靠人工死磕平台化建设缺乏有效参考 1. 2. 业内开源系统稀少、没有可以直接使用的可观测性不够友好全球敏捷运维峰会广州站

19. Kafka平台化建设基础功能层健康大盘消息分析指标监控流程系统 Broker Zone管理告警订阅消息查询资源治理消费管理无用Topic统计基础服务层监控管理 Topic运维集群管理集群部署集群扩容 Topic创建 Topic删除 ZK管理 Broker管理分区扩容 Topc Config Topic/cosumer Metadata 消息采样生产速度采集网关层 Broker监控消费进程状态分区均衡度 UnderReplicated 伪网关建设中 KafkaGetway( 鉴权/绑定topic与consumer/多租户 ) Group_A Kafka 集群 Controller监控 p p p Group_B p p p p 业务A Broker1 Broker2 业务B p p p Broker6 Broker5 Broker4 p p p p 资源物理隔离 p p Broker3 全球敏捷运维峰会广州站 p p

20. Kafka平台化建设全球敏捷运维峰会广州站

21. ES、RabbitMQ、Canal平台建设背景近20套自带管理系统维护困难,体感极差关键指标异常无法采集报警提供研发订阅缺乏必要监控数据采集分析重要对象元数据维护缺失依靠人肉记忆全球敏捷运维峰会广州站

22. ES、RabbitMQ、Canal平台建设背景 ES 平台功能层 MQ 集群管理节点管理索引创建索引变更索引轮转查询管理容量统计监控管理流程管理集群管理创建Vhost 监控大盘 Broker监控 Connection信息 Canal 创建Exchange Binding管理 Channel信息元数据采集存储 ES-API call RMQ-API 通用Agent 元数据 Instance管理状态监控 Server管理流程管理 Delay监控创建Queue 权限管理 Consumer信息 call 系统自带接集群管理分散管理到集中管理创建Limit 流程管理功能覆盖全面统计分析 call Canal-API 基础对象采集器元数据元数据全球敏捷运维峰会广州站数据沉淀统计分析

23. ES、Rabbitmq、Canal平台化建设 MQ Canal 全球敏捷运维峰会广州站

24. 面向研发的自助化平台建设自助发布自助监控自助查询 MySQL 待优化项提示统计数据呈现 Kafka ES 查询申请归档申请 Topic申请 Topic认领查询申请查询审批 DB 申请告警订阅告警订阅消息查询告警订阅索引认领 DB 认领慢查信息索引变更索引申请 RabbitMQ MQ申请告警订阅队列认领告警订阅查询申请赋能研发其他 Redis 缓存申请解放DBA 智能客服规范文档数据订阅 DT抽数自助全球敏捷运维峰会广州站提升效率

25. 面向研发的平台化建设全球敏捷运维峰会广州站

26. 平台化v2-助力从运维走向运营数据分析业务画像数字化运营治理由点到面数据有效利用数据沉淀平台合理的数据埋点平台底座基础功能全球敏捷运维峰会广州站

27. 近一年治理成效稳定性既要又要还要还要人肉到平台一步到位平台覆盖所有DB 一站式跨云运维 mysql实例数 mysql磁盘使翻3.5倍、成用率从12%提本涨2.3倍升至56% mysql cpu平均使用率从 3.7%提升至 10.6% 建立起标准化运维体系赋能DBA&Dev 服务2千人的研发团队 redis实例数 redis内存使 Kafka集群翻翻4倍、成本用率从11.3 倍整体成本降涨2.3倍提升至22% 低10% 云上极致弹性能力+基础能力建设+平台化运营治理=>科学的资源使用全球敏捷运维峰会广州站

28. 云时代下对DBA的思考资源池化、使用水电煤化日常管理:备份/还原数据库 : 安装 / DB参数调优能力模型改变数据库的可靠性稳定性在云能力加持下不在是核心工作围绕自建打造的传统能力将不在有生命力如何科学合理的使用云能力赋能业务在架构设计方案规划、节约成本显得更重要资源交付集群搭建 / 配置HA DBA职责转变 rds.CreateDBInstance() 高效、廉价复合多元化的能力要求DBA 到DA,架构师的转变上云误区转型思考基于云能力打造个性化的运维平台依旧有必要自身基础能力建设要求没有变系统 : 文件系统/OS内核调参对云产品的学习理解比学习开源产品更有意义云上更加强调治理能力没有变上云是大趋势拥抱变化泛DB化转型DA:对云上各个数据库产品综合,深入的理解 Devops:懂数据库懂平台研发, 架构Not Only DBA 硬件 : 服务器/存储/网络自建时代云底座云时代全球敏捷运维峰会广州站

29. 云时代下对DBA的思考运维形态发生改变、应云而变云厂商/三方开发者功能模块化基于云能力开发的行业标准解决方案功能高达积木化用户自己组装 Lowcode化拖拽式功能组装解决方案标准化用户在云市场按需采购全球敏捷运维峰会广州站

30. THANK YOU 全球敏捷运维峰会广州站