从数据库历史看分布式数据库的架构设计趋势

如果无法正常显示，请先停止浏览器的去广告插件。

1. 分布式数据库时代数据库应用和管理新方法泽拓科技创始人&CEO 赵伟

2. 目录数据库技术发展历史回顾数据库选型的新思考 KunlunBase的架构与核心能力应用系统架构师的新任务 DBA面临的新任务 KunlunBase的未来技术展望

3. 数据库技术发展历史回顾铭记经验和教训，不要重复踩坑

4. 启蒙、探索与发现 • 拓荒时代的教训 • 模块化和封装，软件复用；软件设计和研发流程； • 软硬件分离，操作系统负责硬件资源管理 • 数据管理与应用逻辑隔离，由专用的数据库管理系统(DBMS)软件完成 • 走出迷昧：现代数据库技术的理论基础 • 关系代数和SQL：“建立在数学基础上的理论才是科学” • 事务模型和ACID：抽象的接口，分工合作（1）（2）

5. 高可用与持续服务能力 • 基于复制实现高可用：服务持续性和数据价值变得重要 • 物理复制的优缺点 • 优：快，稳定，准确 • 缺：数据传输量大；不容易消费 • MySQL Binlog的优缺点 • 优：事务一致性；开放生态 • 缺：事务提交性能损耗；复制性能和稳定性 • PostgreSQL 的逻辑复制 • 基本上是CDC （3）

6. 发展的曲折：NoSQL的演变 • NoSQL的变迁：No SQL! -> Not Only SQL -> No! SQL! • NoSQL是谁的救命稻草？ • NoSQL的舍与得 • NoSQL在哪里倒退了？

7. 数据管理的螺旋上升与价值回归 • 分布式关系型数据库：与分库分表中间件有本质的不同 • 使用多个服务器组成集群 • 数据打散存储 • 水平弹性伸缩 • 真正的事务 • 性能线性可扩展 • 容错和自动故障切换（4）

8. 分布式数据库选型的新思考应该选择什么样的分布式数据库系统？

9. 必备的基础能力 • To C业务的数据库容量能预测和规划吗？不能！ • 必须具备水平弹性伸缩的能力 • 数据库停服30分钟的代价？可能过亿！ • 数据库系统必须具备金融级高可靠性 • 服务器、网络和机房故障发生 • 自动处理、恢复和转移 • 数据不丢不乱，服务持续在线

10. 全面提升人效 • 人力成本是最高的成本，提升人的效率是最高的价值 • 开发者：专注业务逻辑 • 数据管理 -> DBMS • 项目进度和成本可控，质量可靠 • DBA：运维监控管理全自动化 • 自动故障恢复和高可用 • 完全免除人力介入 • 辅助性能调优和故障分析

11. 数据分析 • 数据分析的新场景 • 分析最新的业务数据：风控，推荐 • 实时流式汇聚多个业务系统的数据更新：ODS

12. 必备的高级SQL功能 • SQL兼容性 • 视图 • 数据安全 • 访问控制 • 文件加密 • 连接控制 • 数据有效性较验

13. KunlunBase架构与核心技术

14. KunlunBase 主要组件 • 多个计算节点 • MySQL&PostgreSQL 双协议双语法 • 分布式事务&并行查询处理 • 存储元数据 • 多个存储集群(shard) （HA） • 存储用户数据 • 元数据集群（HA） • cluster_mgr集群（HA） • 故障恢复，shard HA • 集群管理 API • XPanel • 集群管理、监控、告警 • 故障分析

15. 水平弹性伸缩 • 数据分区(partition): hash, range, list • 任意数量和类型的分区列 • 数据分布(distribution)：auto, random, mirror, table grouping • 扩缩容：自动、柔性、不停服、无业务侵入、终端用户无感知 • 存储和计算分离，多点读写，按需增减存储和/或计算节点

16. 金融级高可靠性 • 自动故障恢复、转移和切换 • 数据不丢不乱，服务持续在线 • 确保RTO < 30秒 & RPO=0 • shard故障处理和恢复 • fullsync & fullsync HA • 集群故障处理和切换 • cluster_mgr

17. 金融级高可靠性 • 自动故障恢复、转移和切换 • 机房故障自动恢复 • 多机房高可用 • 同城/异地双活

18. HTAP 混合负载 • HTAP: OLTP & OLAP 一份数据，两类负载，互不干扰 • OLTP为主：对应用软件等价于使用MySQL或PostgreSQL • OLAP为辅：多层级并行的分布式查询处理，充分利用大量硬件资源实现高性能 • 数据分析新场景 • 分析最新数据：风控 • 汇集多个数据库的数据变更做OLAP分析（ODS） • 大数据分析：推荐（ES）

19. MySQL、PostgreSQL和SQL兼容性 • 融合标准SQL、PostgreSQL 和 MySQL 的应用和工具软件生态 • 支持PostgreSQL的DDL 和DML语法和连接协议 • 支持MySQL的DML和常用DDL 的语法和连接协议 • 支持JDBC，ODBC，所有常见编程语言的PostgreSQL和MySQL client connector • 支持Hibernate等常见的ORM映射中间件，程序员无需编写SQL代码 • SQL兼容性：高级查询功能 • [物化]视图，domain（列级约束），CHECK约束，policy(RLS) • 多粒度的访问控制 • 存储过程，触发器

20. 数据安全和校验机制 • 全方位的数据安全保障 • 连接加密：全链路安全传输 • 存储节点：数据文件和日志文件存储加密：不怕被拖库 • 计算节点 • 多层级细粒度访问控制 • 库、模式、表、列、行、视图、存储过程 • 有效性验证：CHECK约束(字段、行)；domain • 约束：数据类型、null-ability, unique-ness • 数据访问控制和有效性检查必须源头控制 • 非法数据有毒，还会传染，久拖难治！

21. 分布式数据库时代应用架构师和DBA的新任务

22. 应用架构和数据设计简化应用架构设计：把数据管理任务完全交给分布式数据库系统 • 应用层只实现业务逻辑 • 应用层分库分表或者中间件分库分表已经过时了！设计数据分布方案：理解业务需求和数据特征 • 目标：最优的性能 • 数据表的拆分方法 • 数据分片的分布策略

23. 发挥高级SQL功能的价值 • 一般价值：存储过程、触发器 • 存储过程：性能、可维护性；访问控制 • 触发器：性能问题，可以用CDC代替，外部做流式变更处理 • KunlunBase计算节点扩容，缓解资源开销和性能问题 • 高价值： CHECK约束、[物化]视图、domain（列类型）、RLS、访问控制 • 视图：解耦，虚拟；访问控制 • 物化视图：性能 • CHECK约束：字段正确性规则 • domain：面向业务逻辑 • 访问控制：源头建立安全机制 • RLS：细粒度

24. DBA：保障数据安全有效 • 在数据源头建立数据安全和校验机制 • 数据访问控制规则 • 用户名，密码，客户端IP范围：防止DDOS，不暴露到公网 • 库、模式、表、列、行、视图、存储过程 • 用户、角色、授权和回收 • 数据有效性校验机制 • PK，唯一索引 • 数据类型和宽度，可否NULL • 字符集和collation：最好全database统一使用 • 混用易产生比较错误，导致排序，索引失效 • CHECK 约束 UTF8

25. DBA：系统性能调优 • 积极解决日常技术问题 • 数据库性能监测和调优 • 持续优化告警规则 • 数据库系统故障分析和诊断

26. DBA：服务器资源规划与分配 • 服务器集群资源规划 • 资源预留：何时开始和如何扩容？ • 资源分配：服务器 -> 业务和数据 • 何时清除备份的数据和日志文件？

27. KunlunBase未来技术展望 • Persistent Memory (PM) • WAL • WAL-less • 计算节点多线程 • JIT • 向量化 • 更高性能的replication • KunlunBase-1.3的性能目标：TPS 翻倍，延时缩短50%以上 • 超越最新版本的Oracle和MySQL单机性能！

28. 个人微信欢迎扫码添加 Klustron数据库公众号欢迎扫码关注