ABC场景驱动下，如何制定数据库与存储技术规划

1. 全球敏捷运维峰会广州站

2. ABC场景驱动下，如何制定数据库与存储技术规划 vivo 肖博全球敏捷运维峰会广州站

3. 肖博 vivo 通用存储研发组总监职业经历百度数据库团队同程艺龙数据库团队技术分享 vivo大规模Redis集群实践基于 Redis Cluster 的灾备与同城双活实践大规模多存储场景的数据库选型与服务平台建设之路全球敏捷运维峰会广州站

4. 目录 • 数据存储技术的本质 • 数据存储技术的现状 • 数据存储技术发展规划全球敏捷运维峰会广州站

5. 追本溯源甲骨文竹简书本存储介质：龟壳存储介质：竹子存储介质：纸张特点：容量极小、读写效率低特点：容量较小、读写效率较低特点：容量较大，读写效率较高磁盘存储介质：磁介质存储介质：NAND 特点：容量大，读写效率较高特点:容量大，读写效率高全球敏捷运维峰会广州站

6. 数据存储的诉求 • 数据类型多 • 存储规模大 • 数据写入快 • 数据读取快多快好省 • 连续服务 • 数据安全全球敏捷运维峰会广州站 • 存储成本低

7. 数据存储的本质数据存储数据读取存储规模全球敏捷运维峰会广州站

8. 目录 • 数据存储技术的本质 • 数据存储技术的现状 • 数据存储技术发展规划全球敏捷运维峰会广州站

9. 行业头部在做什么 ⌾ 自研数据库/存储产品 ⌾ 挑战金融场景 ⌾ 选择部分或者全部开源 ⌾ 弹性伸缩、存算分离等分布式特性 ⌾ 智能优化、智能运维 ⌾ 统一管控，HTPA多模等特性 ⌾ 社区运营、生态建设、认证培训全球敏捷运维峰会广州站

10. 更敏捷敏捷交付对数据库以及存储服务而言，在软件研发过程中能够快速的交付满足业务需要的存储服务和数据库敏捷变更对数据库以及存储服务而言，在服务运行和运维过程中的各种变更能够足够的快捷，足够的轻量。全球敏捷运维峰会广州站

11. 更高的性能用户体验内容与场景同质化的情况下，各软件比拼的更多是用户体验，而大多数软件或者应用都是围绕着数据展开的，存储服务与数据库产品的性能显的尤为重要公司收入在广告服务、推荐场景、自然语言处理等场景中整体服务的性能都会受到存储和数据库服务的性能影响全球敏捷运维峰会广州站

12. 更大规模数据规模移动互联网、工业互联网等产生大量的数据，各种IOT设备源源不断的产生数据，参与数据生产加工的人群越来越多，数据规模的不断增加，分布式架构已经成为常态数据类型结构化、半结构化、非结构化的数据类型以及AI、大数据等场景对数据产生的需求，支撑各类数据存储的产品百花齐放数据类型数据分层表现明显，需要实时处理的数据占小部分，有大量的冷数据需要处理，归档存储和冷存储的成本越来越高全球敏捷运维峰会广州站

13. 更低的存储成本资源利用率购买的服务器资源有没有被充分的利用，服务器的CPU、内存、磁盘利用率如何，资源利用率的考核成为企业的常态，数据库和存储服务的虚拟化、容器化、资源混合部署等技术逐渐成熟成本量化单个业务或者产品的ROI需要把用到的所有资源进行量化，对存储和数据库服务同样需要，账单服务的诉求也越来越强烈全球敏捷运维峰会广州站

14. 更多的安全诉求安全意识全球数据泄露事件频发，敏感数据通过网络进行扩散进而产生不良影响，用户目前对个人隐私数据保护的意识越来越强烈合规要求各个国家和区域密集出台数据安全的条例和法规，安全合规已经影响到企业能否正常开展业务全球敏捷运维峰会广州站

15. 软硬结合内核旁路内核旁路在解决软件性能问题中越来越多的被使用，dpdk、 spdk等将技术日益成熟并被应用专用硬件专有的硬件设备从各个方面来提升软件性能，和硬件设备结合能更大性能的提升软件性能，如AEP，DPU，智能网卡等等全球敏捷运维峰会广州站

16. 交叉融合一体化流批一体、湖仓一体、HTAP等可以减少数据流动、降低成本、提升效率的方案和概念不断被挖掘和实现多模存储将多个系统组合使用的解决方案下沉为数据库内置能力，HTAP、多模数据库等产品不断涌现全球敏捷运维峰会广州站

17. 智能智能运维基于已有的运维数据，通过机器学习的方式将运维动作智能化，进一步解决因业务扩张，高人力成本难以维系的问题智能优化将AI技术应用于索引优化，智能索引推荐技术已经在某些数据库产品中有落地，数据库参数智能优化也在不断探索全球敏捷运维峰会广州站

18. 目录 • 数据存储技术的本质 • 数据存储技术的现状 • 数据存储技术发展规划全球敏捷运维峰会广州站

19. 方法论主见新的概念和产品层出不穷，然而可能目前企业的现状还在使用头部企业N年前的技术，容易产生焦虑感和沮丧感。但任何新技术和产品都是为了解决某种场景的问题而诞生的，解决当前企业面临的问题用适合的技术就行重点可靠性，可用性，安全，成本这些永远是重点，其中对于数据库和存储而言前三点的重要程度是高于成本的，其次我们大概投入20%的时间和人力能解决80%的问题，剩下的20% 问题要慎重评估后在确认是否投入全球敏捷运维峰会广州站

20. 方法论系统思维系统思维是一种从整体、全局出发看问题的思维方式。 • 拆解，把系统问题拆解成各个元素 • 放大，把拆解后的元素放到整个系统里面来研究 • 控制，对每个元素单独控制全球敏捷运维峰会广州站

21. 警惕AIOPS的陷阱 AIOPS定义 AIOps是一种多层次的技术平台，包括如下两点内容 • 使用机器学习来分析IT运营系统的各类业务与系统数据，从而实现 IT运营的自动化增强 • 能够实时的自动发现系统存在的问题且能自动实现故障自愈 AIOPS陷阱 • AIOPS ≠ AI + OPS • 对现阶段AIOPS发展水平认知陷阱，AIOps目前正处于科技诞生的促动期进入过高期望的峰值的发展时期，而对其抱有超越现阶段的期望 • 技术选择上的陷阱，认为直接使用现成的深度学习或者机器学习算法可以很好的做出决策全球敏捷运维峰会广州站

22. 数据库与存储平台规划服务申请服务下线服务部署 Ø 混合云统一数据存储管理解决方案 Ø 数据存储DevOps解决方案持续改进体系闭环数据恢复服务维护 Ø 数据变更稳定性解决方案产品支撑 Ø 数据安全解决方案 Ø 数据存储产品可用性解决方案服务变更数据变更服务优化全球敏捷运维峰会广州站

23. 数据库与存储产品规划 Ø 丰富数据产品矩阵与生态 Ø 培养数据存储产品研发能力 Ø 降本增效的需求一直在 Ø 安全的需求变的越来越重要 Ø 兼顾业务需求与运维需求全球敏捷运维峰会广州站

24. 规划参考数据存储管理服务平台安全成本效率可用性数据备份服务监控服务巡检预案管理账户管理服务部署数据变更预算管理容量评估安全审计数据脱敏高可用故障管理灾备管理数据校验运营报表数据查询服务变更资源分账容量预测数据防火墙权限管控故障自愈数据闪回从0恢复服务熔断慢日志管理多环境管理自助化服务弹性扩展利用率管理数据治理数据加密服务降级服务限流智能诊断数据校验数据订阅事件管理智能客服资源回收资产管理 GDPR合规日志分析 MySQL RDS DRDBMS ElasticSearch MongoDB OLAP TSDB GDB TIDB KV Storage NoSQL RDBMS 通用存储服务对象存储 Big Table Table Store 块存储文件存储 IDC资源全球敏捷运维峰会广州站公有云资源元数据管理

25. Thank You！全球敏捷运维峰会广州站