万级实例规模下的数据库可用性保障实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 万级实例规模下的数据库可用性保障实践左兴宇 | vivo 互联网存储运维总监全球敏捷运维峰会广州站

2. 标题目录 1 vivo 数据库运维简介 2 可用性管理方法论和管理实践 3 业务规模&可用性管理挑战 4 平台能力对可用性的影响 5 可用性和成本的冲突和调和全球敏捷运维峰会广州站

3. 一、vivo 数据库运维简介 ➢ 存储产品存储产品数：8 2018 ✓ ✓ ✓ ✓ MySQL Redis MongoDB ES 2019 +TiDB 2020 +磁盘KV +对象/文件存储全球敏捷运维峰会广州站 2021 +MySQL-Proxy

4. 一、vivo 数据库运维简介 ➢ 数据库运维规模增长趋势 20 70000 17.7 60000 15.8 62000+ 50000 40000 48000+ 20000 10000 10 8.2 30000 30000+ 4.2 2700+ 11000+ 15 5 3700+ 3400+ 3100+ 0 0 2018年 2019年物理机数量 2020年实例数量实例密度全球敏捷运维峰会广州站 2021年

5. 一、vivo 数据库运维简介 ➢ 业务 & SLA等级核心用户业务体验营收贡献公司 24个核心业务：99.99% 其他重要业务业务 113个重要业务：99.95% 227个一般业务：99% 19个其他业务：无一般口碑业务运维发起业务评估全球敏捷运维峰会广州站会签确认

6. 一、vivo 数据库运维简介 ➢ SLA & 计算 i..n：表示项目对应的集群数量核心业务 •全年可用性损失时长 99.99% 数据库SLA 重要业务 99.99% Wi：项目对应的每个集群的权重 <53分钟 •全年可用性损失时长 <53分钟 i..n：表示集群内故障实例的数量 D ：表示故障实例在集群内部的权重 T ：指该实例的故障时间，单位是分钟一般业务 99.95% •全年可用性损失时长 <262分钟全球敏捷运维峰会广州站

7. 二、可用性管理方法论和管理实践 ➢ 可用性管理四部曲故障发现故障复盘 100%发现故障，提高发现效率，尽可能准确定位故障点，收集故障上下游信息 01 吃一堑长一智，客观的分析 02 04 故障原因，挖掘故障背后的根因，以点带面，长效解决一类问题 03 故障预防故障治愈在可能出现故障的地方提先止损，再调查；固定场景前做工作，消灭故障在未系统自愈，丰富自愈场景；发生之时建设故障预案全球敏捷运维峰会广州站

8. 二、可用性管理方法论和管理实践 • 故障预防防止架构天然缺陷架构优化是否都有高可用，是否都能自动更新拓扑，是否都能重连重试，典型的无高可用，主备同物理机同交换机，通过巡检主动发现，触发报警。应该如此，但可能不如此功能可靠现在正常，将来不正常随着数据量的持续增长，现在没有问题不代表未来没有问题，比较典型的主键ID越界，通过巡检主动发现，提前处理。数据增长故障预防理论上应该具备的能力，实际使用可能存在异常，环境的变化，代码的变化都可能引起不符预期。通过场景演练去发现。全球敏捷运维峰会广州站数据库上下游问题业务配置和数据库配置不匹配，配置的变化和数据库没有联动，典型的DB链接数超配。通过巡检主动发现，提前处理。上下游

9. 二、可用性管理方法论和管理实践 • 故障预防工作依赖人，但人是极大的不确定因素 <20%人工 80%人工 100%人工手工操作脚本操作全球敏捷运维峰会广州站平台化建标准建流程自助化

10. 二、可用性管理方法论和管理实践 • 故障发现平台可用性 99.98% | 告警延时 58.25s | 故障召回率 100% | 报警准确率 100% 全球敏捷运维峰会广州站

11. 二、可用性管理方法论和管理实践 • 故障修复自愈场景 • 主机故障主备自动切换 • MySQL链接数打满，自动扩容 • Redis连接数自动扩容 • ES进程自动拉起 • MySQL BINLOG自动清理 • Redis进程自动拉起故障预案 • MySQL故障预案—13个场景 • Redis故障预案—9个场景 • ES故障预案—2个场景 • 磁盘KV故障预案—3个场景 • 对象存储故障预案—2个场景全球敏捷运维峰会广州站

12. 二、可用性管理方法论和管理实践 • 故障复盘故障复盘问题简述影响和损失改进措施责任方故障详细过程责任主体回溯故障过程详 ➢ 问题根因 ➢ 改进措施原因分析 ➢ 故障背景 ➢ 故障等级 ➢ 问题影响 ➢ 时间相关细时间点以及动 ➢ 重发问题 ➢ 任务描述 ➢ 问题原因 ➢ 用户相关作 ➢ 故障原因 ➢ 解决方案 ➢ 简要过程 ➢ 经济损失 ➢ 责任人 ➢ 可用性计算 ➢ 落地时间 ➢ 主被动发现全球敏捷运维峰会广州站

13. 三、业务规模&可用性管理挑战 ➢ 起步阶段平台能力5%，借助开源工具管理数据库 2018年 11000实例 5人元数据10%，各类信息靠excel表格+人脑记忆，混乱且不准确数据库标准/规范5%，无体系化标准约束，依靠DBA经验业务架构能力弱，业务数据高度耦合闭源高可用方案全球敏捷运维峰会广州站数据库平台第一行代码梳理元数据信息表格管理编写数据库标准，建立部分流程业务共库整治专项高可用架构改造引入MHA

14. 三、业务规模&可用性管理挑战 ➢ 建设阶段平台能力60%，覆盖MySQL,Redis基本运维流程 2019年 30000实例 6人元数据80%，平台管理流程，平台落地部分标准数据库标准/规范70%，标准会签，业务宣导数据库架构优化；数据库产品能力弱机房迁移全球敏捷运维峰会广州站数据库变更系统，数据库查询系统，巡检系统数据库挂载信息整理编写数据库标准，统一数据库版本 Redis cluster方案推广数据库产品设计机房质量和资源不足迁移也是件好事

15. 三、业务规模&可用性管理挑战 ➢ 稳固阶段平台能力80%，上下游依赖更重 2020年 48000实例 8人元数据90%，存在多属主资源场景 Redis非标准架构集群改造线下环境管理没纳入DBA管理，可用性保障差机房迁移全球敏捷运维峰会广州站打通数据流程上下游，多系统联动资源归属整治专项推动业务适配，不能整改的输出故障预案 DBA接手线下4000+实例，纳入平台管理元数据校准架构优化

16. 三、业务规模&可用性管理挑战 ➢ 拓展阶段平台能力85%，引入更多自研数据库产品 2021年 60000实例 10人云下元数据99%，云上资源信息不全，覆盖不全 TiDB平台能力建设 KV存储平台能力建设云资源全部打通数据流向平台内闭环大规模对象存储集群的可用性保障，KV存储大规模使用操作流程标准化高可用能力升级 MySQLProxy线上推广故障预案全球敏捷运维峰会广州站平台能力建设 /运维加强故障事前排查，通过预案提高修复效率

17. 三、业务规模&可用性管理挑战 ➢ 总结管理心得辨证看待历史包袱机房迁移动作在客观条件上看既然无法避免，那么就应该发挥它的最大价值，被动大事件去驱动元数据梳理/架构改造，也是件好事。统一标准架构标准，部署标准，版本收敛，强化开发规范，把需要特殊处理的场景减少，不确定因素也能相应减少。平台能力的重要性平台建立在标准化之后，平台又能反向推动标准和流程的落地，平台能力是大规模运维的基石。全球敏捷运维峰会广州站

18. 四、平台能力对可用性的影响效率提升大规模运维交付能力的基石大规模数据库资源的运维建立在各种标准之上，人是建立标准的主体，系统是保障标准被执行落地的主体。平台能够大幅缩短运维工作的交付时间，并保证交付质量的稳定。大规模运维可用性保障的基石可用性提升平台是标准化落地的载体，也是可用性保障的终极解决方案，在提高日常工作交付效率的情况下，通过自助的方式把标准工作外包出去，减轻DBA的工作负担，对可用性的保障起到关键作用。全球敏捷运维峰会广州站

19. 四、平台能力对可用性的影响存储产品 • MySQL、TIDB，MySQL-Proxy • MongoDB，ES • Redis，Redis-Proxy，磁盘KV • 对象/文件存储业务场景 • 数据变更，数据查询，变更回滚，操作审计，数据归档，导入导出 • 预算申请，服务申请，服务扩/缩容，服务回收，配置变更，套餐升降配，服务监控 • 主机监控，实例监控，业务监控，Proxy监控全球敏捷运维峰会广州站

20. 四、平台能力对可用性的影响巡检大盘故障跟踪慢查询巡检上报报警汇总全球敏捷运维峰会广州站

21. 五、可用性和成本的冲突和调和 B机房 A机房 A机房 1 Master 2 灾备 Slave Master Slave 2 Slave Slave 3 Slave 全球敏捷运维峰会广州站 1

22. 五、可用性和成本的冲突和调和可用性优先阶段精细化运营阶段在此阶段，以可用性最优解为目标，标准部署，提升可用性管理能力，收集数据库运营数据可用性管理趋于稳定，对线上业务形态更多的掌控，可以根据实际业务场景，做差异化的调整，释放非必要的资源。核心业务：核心业务： • 一主多从 • 一主多从 • 独立物理机部署 VS • 延迟从库 • 跨机房灾备；计算资源独立部署其他业务： • 一主两从 • 混合部署 • 独立部署+混合部署 • 延迟从库 • 部分跨机房灾备；计算资源混部其他业务： • 一主一从 • 混合部署 • 计算资源混部全球敏捷运维峰会广州站

23. THANK YOU！全球敏捷运维峰会广州站更多vivo数据库相关知识敬请关注“vivo互联网技术”公众号