云原生时代数据库运维体系演进

1. 云原生时代数据库运维体系演进邓松 | vivo互联网云平台架构师

2. 01 云原生时代数据库运维挑战 02 vivo大规模数据库实例高效运维 04 vivo个人隐私数据全链路保护 05 未来展望 03 vivo数据库资源弹性管理

3. 数据库运维体系演进 2020s 后移动互联网+云原生时代 2010s 移动互联网+云计算时代 2000s 背景：云计算技术广泛应用， PC互联网时代兴起开源分布式数据库走向成熟运维方式：人工平台操作背景：商业数据库还是主流，规模：数据爆发式增长开源数据库方兴未艾运维方式：人工+脚本挑战：数据库资源交付如何做规模：数据规模量相对不大到效率高，稳定性好，成本底挑战：商业数据库的软件硬成本问题，开源数据软件不成熟背景：微服务架构，资源弹性，容器等云原生技术广为传播。开源数据库成熟稳定。数据库数量和品类都大增。同时个人隐私数据保护日益凸显成为数据库运维的时代重点。挑战：？

4. 云原生时代数据库运维体系挑战大规模数据如何有效运维？数据库如何弹性伸缩？个人隐私数据保护数据库方面如何落地？应用架构微服务化一般要应用弹性伸缩，也要求数开源数据库在这方面，即求数据去中心化：数据库据库更有效的资源管理。也没有具体的落地方案，实例数量因此成倍增加没有提供专门的工具，都效率上，快速扩缩，业务无损运维工作量因而更大成本上做到有效利用，按需按量使用。开源数据库因为存算一体架构问题一般支持上述两点并不容易。有待自己探索

5. 01 云原生时代数据库运维挑战 02 vivo大规模数据库实例高效运维 04 vivo个人隐私数据全链路保护 05 未来展望 03 vivo数据库资源弹性管理

6. 大规模数据库实例高效运维实践现状 7万+ 92% 70% 数据库实例规模运维工作量节省故障告警自动分析包含6种数据库：数据库运维操作和数据变更都通过工单 70%的数据库告警实现自动分析或者 MySQL，Redis，MongoDB，形式记录和审批执行，月均6000+工处理，进一步解放DBA人力。 Elasticsearch，TiDB，单量，92%都实现了无需运维人员参自研磁盘KV 与，用户自助执行数据来源：vivo

7. 大规模数据库实例高效运维工单自助替代手工或者脚本操作。用代通过工单流精确量化运维工作常见Redis等数据变更自助需码的方式，将最佳的运维经验场景，而只有成功率达到99% 要补齐生态工具,确保变更对业固化在平台中以上一般才可以开放自助务无无影响,变更均可回滚数据来源：vivo

8. 大规模数据库实例高效运维故障自愈专家经验式故障自愈方案自研基础能力常见数据库故障场景不到50个 Redis流量分析暂时不用AI分析热点key分析通过枚举也能有效显著提升 MySQL根因SQL分析等故障处理效率简单实用关键故障分析工具每日400+故障告警故障定位最耗时数据来源：vivo

9. 大规模数据库实例高效运维故障自愈架构基础操作 70% 故障自动分析或者自愈 SQL根因分析 Redis热Key分析 Binlog清理 …… 30个基础操作建设调用告警驱动故障自愈系统读取生成分析中心现场快照分析结果 26个故障预案案例标注 10个分配通知故障场景全自动处理预案库数据来源：vivo

10. 01 云原生时代数据库运维挑战 02 vivo大规模数据库实例高效运维 04 vivo个人隐私数据全链路保护 05 未来展望 03 vivo数据库资源弹性管理

11. 数据库资源弹性管理现状&问题传统数据库占主流从数量上看，线上数据库7万个实例，85%是 REDIS，10%是MySQL，剩下5%是其它数据库。但是开源Redis的弹性伸缩并不如意。传统数据库占主流对于Redis等传统数据库来说，容器化也不能解决无容器化其弹性伸缩的速度和稳定性问题，只能从数据库软件本身上去解决。同时，资源隔离得另想办法。无容器化物理机直接部署物理机直接部署超过6PB数据直接部署在至少4000台物理机上，数据库成本问题更加敏感数据来源：vivo

12. 数据库资源弹性管理实践展示资源分配弹性伸缩单机器多实例多版本多套餐混合部署。自研多线程Redis Cluster扩缩工具， 1、程序配置控制实现隔离同类数据库资源池统一。显著加速Redis Cluster扩缩容，同 2、通过巡检和容量预测的方式实现软时增加限速，大key巡检，历史负载隔离检测，脑裂检测等功能尽量增加扩容稳定性。资源隔离

13. 数据库资源弹性管理套餐自动优化主要建设功能：MySQL，MongoDB，Elasticsearch套餐自动降配；驳回开始平台自动判定集群是否满足缩容条件满足自动发起工单业务项目经理审批同意平台自动执行结束不满足 1100+次 150T+ 故障自动分析或者自愈节省空间数据来源：vivo

14. 01 云原生时代数据库运维挑战 02 vivo大规模数据库实例高效运维 04 vivo个人隐私数据全链路保护 05 未来展望 03 vivo数据库资源弹性管理

15. 个人隐私数据全链路保护现状在线数据库约有 70.5 万张“表” 总计有 1185 万个字段 100% 隐私数据识别覆盖千万级字段识别涉及四种数据库 MySQL MySQL 支持透明加密平台为隐私数据提供了公共的加密服务，减轻了因为隐私数据加密带来的研发和运维工作量。 MongoDB Elasticsearch TiDB 人工抽查识别准确度 79% 数据来源：vivo

16. 个人隐私数据全链路保护功能详情统一数据库建表入口，同时提扫描全网表结构数据，自动识数据查询结果中包含隐私数据数据导出隐私数据时自动加密，供平台工具便于用户对隐私数别未标记的隐私数据自动加密显示并添加水印据字段进行标记

17. 个人隐私数据全链路保护最后的防线：数据库加密数据库平台（DaaS）选择字段配置加密是是否存量存量清洗工单回收明文工单回收完成配置加密平台操作入口，配置信息保存之地表结构变更工具（gh-ost自研版）存量业务数据加密：对业务无损透明的加解密方案否字段加密配置生效添加密文列数据清洗完成通过对业务数据库近乎无损的增减字段的方式清洗旧的明文数据去除明文更新 MySQL代理（VSQL Proxy）自研MySQL透明加解密的proxy

18. 01 云原生时代数据库运维挑战 02 vivo大规模数据库实例高效运维 04 vivo个人隐私数据全链路保护 05 未来展望 03 vivo数据库资源弹性管理

19. 未来展望故障处理效率 01 02 03 专家经验式枚举故障自愈 AI判断为辅专家经验为主 AI判断为主专家经验为辅阶段一阶段二阶段三

20. 未来展望 01 02 03 阶段一阶段二阶段三数据库混合资源管理数据库容器混合资源管理存算分离架构数据库的资源管理弹性资源管理

21. 未来展望隐私数据治理 01 02 非结构化数据自动识别和加密问题提升自动隐私数据识别准确度

22. 未来展望

23.