超大规模数仓集群在大型商业银行的落地实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 超大规模数仓集群在大型商业银行的落地实践 ——龙趺MPP DB 演讲人：建信金科陈晓新全球敏捷运维峰会广州站

2. 龙趺MPP DB 龙趺MPP DB——新一代云原生数据仓库产品 MPP架构查询能力超高的查询性能标准SQL支持完善的生态系统龙趺 MPP DB 云计算弹性金山云无限的计算存储能力动态伸缩高性价比的存储其他数据库、存储等合作公司全球敏捷运维峰会广州站大数据平台灵活性计算和存储分离优异的扩展性故障自动恢复

3. 龙趺MPP DB上线和运行现状龙趺MPP DB 运行现状集群规模数据量表数量/对象数负载情况 15000+服务器 9PB 百万/千万每天运行作业数达到百万级别，SQL数千万级别信用卡境内贴源公共访问旅程管理集团并表海外贴源不良资产海外应用云化数仓公共计算资产负载分行信息应用 20年3月 20年7月 20年7月 20年8月 20年9月 20年10月 20年11月 21年1月 21年3月 21年4月 21年6月全球敏捷运维峰会广州站

4. 龙趺MPP DB上线和运行现状全球敏捷运维峰会广州站

5. 贴源集成应用运行效率对比 1500 1000 500 0 传统MPP 龙趺MPP DB Ø 龙趺MPP DB的计算资源和传统MPP的计算资源基本相等 Ø 龙趺MPP DB存储和计算的数据量（1000TB）为传统MPP （200TB）的5倍 Ø 每天7万个作业、100万个SQL，龙趺MPP DB和传统MPP的运行效率无明显差别全球敏捷运维峰会广州站

6. 为什么需要研发龙趺MPP DB u 并发能力和可扩展性不足，分库分表造成大量数据冗余 u 数据的存储和计算不分离，数据库孤岛情况严重 u 升级、扩容等操作复杂，运维成本高，应用影响大 u 木桶效应，服务器故障会导致集群性能严重下降 u 非云原生架构，难以融入建行云建设传统MPP数据库在建行落地实践中遇到的困难全球敏捷运维峰会广州站

7. 龙趺MPP DB架构元数据集群元数据集群管理控制台计算集群-2 计算集群-1 计算集群-n 计算集群用户数据缓存元数据缓存用户数据缓存元数据缓存用户数据缓存元数据缓存共享存储（对象存储）共享存储对象存储 1 对象存储 2 对象存储 n 用户模块全球敏捷运维峰会广州站管理模块

8. 龙趺MPP DB——管理控制台权限管理 Ø 多租户/用户管理集群生命周期管理 Ø 创建、删除、扩缩容、升级、启动、停止 IaaS资源交互和调度 Ø 自动化申请基础设施资源，包括计算、存储和网络资源等自动化/智能化运维 Ø 自动化安装部署 Ø 监控、告警 Ø 运维扩容、升级、备份故障自愈全球敏捷运维峰会广州站

9. 龙趺MPP DB——元数据服务计算集群调度层 Ø 服务发现和监控 Ø 负载均衡 2 1 3 6 调度层 ETCD 无状态服务层 catalog ETCD ETCD 无状态服务层 Ø 服务层由一组服务节点组成，每个服务节点其实是无状态的服务进程，负责接收和处理计算集群的元 catalog catalog 数据请求； 4 元数据持久层 Ø 元数据持久化存储服务，存储数据字典、统计信息、 FDB FDB FDB FDB 表到对象映射等分布式K-V存储全球敏捷运维峰会广州站 5 FDB

10. 龙趺MPP DB——计算集群元数据集群资源灵活分配计算集群-1 用户数据缓存元数据缓存计算集群-2 用户数据缓存元数据缓存计算集群-n 用户数据缓存元数据缓存共享存储（对象存储）对象存储 1 对象存储 2 对象存储 n 全球敏捷运维峰会广州站 Ø 按需创建、删除、扩缩容 Ø 集群间资源完全隔离 Ø 作业可在不同集群建灵活调配 Ø 并发能力线性扩展缓存服务 Ø 本地SSD作为缓存介质 Ø 小文件合并

11. 龙趺MPP DB——共享存储元数据集群使用对象存储作为数据持久化存储计算集群-1 用户数据缓存元数据缓存计算集群-2 用户数据缓存元数据缓存计算集群-n 用户数据缓存元数据缓存共享存储（对象存储）对象存储 1 对象存储 2 对象存储 n 全球敏捷运维峰会广州站 Ø 支持100亿文件对象，200PB以上的压缩数据 Ø 使用标准Restful API，支持高并发访问 Ø 99.99%以上的可用性 Ø 99.999999999%以上的数据持久性存储访问优化 Ø 多桶存储 Ø 列存+压缩

12. 龙趺MPP DB——应用解决方案应用1 应用3 应用N 应用1 应用2 应用3 应用N 传统MPP 龙趺MPP DB 数据复制大量集群间数据复制数据共享，无需作业动态调度每个集群运行作业基本固定，无法动态调整作业可以根据负载需求，在不同集群间动态调整数据冗余大量冗余数据无数据冗余应用2 智能调度计算计算集群1 存储计算集群2 集群3 存储存储计算集群 N 计算计算计算集群2 集群3 计算存储集群1 集群N 共享存储数据复制传统MPP应用解决方案龙趺MPP DB应用解决方案全球敏捷运维峰会广州站

13. 龙趺MPP DB——运维解决方案计算集群 Master Seg1 Seg2 Seg3 Seg4 Seg1 计算集群 Master Seg2 Seg3 Seg4 Seg1 计算集群 Master Seg2 Seg3 Seg5 Seg6 Seg7 Seg8 动态扩容元数据集群 Seg1 计算集群 Master Seg2 Seg3 动态缩容 Seg4 快速升级 COS u u 数据分布：一致性hash的分布方式，避免数据大量重新逻辑分组独立的元数据共享存储服务，计算节点无状态，随时可增加和减或少，也避免了数据重新物理分布 Seg1 Seg4 故障快速隔离恢复计算集群 Master Seg1 Seg2 Seg3 全球敏捷运维峰会广州站 Seg4 Seg4 新计算集群 Master Seg2 Seg3 Seg4

14. 龙趺MPP DB应用增长规模龙趺MPP DB规模 100000 90000 90000 10000 10000 80000 70000 8000 60000 50000 6000 40000 4000 30000 20000 10000 12000 200 2000 256 0 0 服务器数量数据量过去一年，建行龙趺MPP DB集群的服务器规模增加了50倍，数据量增加了45倍全球敏捷运维峰会广州站

15. 龙趺MPP DB遇到的问题 u 每天百亿级别的元数据RPC请求如何稳定保障服务拆分、分布式扩展等 u 对象存储海量的数据存取需求如何高效满足分片、多桶、多线程，共享缓存等 u 超大规模的集群如何高效运行维护故障自愈、全流程监控、自动化工具 u 银行级别的高可用要求如何保障跨AZ/Region部署、多活、在线备份等全球敏捷运维峰会广州站

16. 龙趺MPP DB——元数据服务提升数据字典服务1 数据字典服务2 事务服务1 事务服务2 锁服务1 事务服务2 文件映射服务1 数据字典服务2 数据字典服务3 元数据服务单节点服务向分布式服务改造数据字典服务3 数据字典服务4 根据服务类型及负载需求，对元数据服务进拆分和分布式改造，提高服务和高可用能力全球敏捷运维峰会广州站

17. 龙趺MPP DB——存储服务提升应用1 应用2 应用3 Ø 通过统一缓存服务，实现IO加速；减少对象存统一缓存服务储压力 Ø 每个应用创建独立的 tablespace，每个 Bucket1 Bucket4 Bucket6 Bucket8 建若干个bucket Bucket2 Bucket5 Bucket7 Bucket9 Bucket3 TableSpace1 tablespace根据需求创 TableSpace2 TableSpace3 共享存储全球敏捷运维峰会广州站 Ø 通过tablespace实现共享存储IO能力隔离和流量控制

18. 龙趺MPP DB——自动化监控和运维监控信息获取 RPC分类统计长SQL RPC分集群统计 SQL分类统计 CPU 连接数、运行数关键作业完成 IO、IOPS 作业运行数、连接数异常低/高负载内存（虚拟、物理等）表访问统计磁盘空间使用字段访问统计统计信息和运行状态集成高连接低负载服务是否存活性能是否正常负载是否倾斜资源是否充足异常报错历史值对比偏离 SQL运行数、报错数等倾斜统计进程数、线程数膨胀统计作业、SQL、存储全流程数据收集智能资源调度趋势轨迹故障辅助定位数据聚合分析智能运维全球敏捷运维峰会广州站

19. 龙趺MPP DB——自动化监控和运维全球敏捷运维峰会广州站

20. 龙趺MPP DB——高可用提升数据库服务集群级别整体故障跨AZ部署 AZ级别服务故障数据备份数据丢失/误删除等双活部署通过跨AZ部署、备份、双活等方式，进一步解决集群故障、AZ故障、数据丢失等问题全球敏捷运维峰会广州站

21. 总结过去几年，我们完成了无数次的版本迭代和上线优化。一需求分析和产品设计运行跟踪和运维优化款数据库产品的成熟发展，需要产品、架构、研发、运维、应用等许许多多人的长期合作和投入。在龙趺MPP DB上，我们： Ø 集合了大批建信金科和业界优秀的研发人员；架构设计和产品开发应用开发和上线运行 Ø 提供了业界最复杂、最丰富、负载最高的应用场景； Ø 拥有建行二十几年的数据仓库使用和运维经验，能够最快的发现产品痛点，提出最贴合用户需求的产品设计。全球敏捷运维峰会广州站

22. 总结建设银行恒丰银行银保监坚持产品研发投入、持续拓展用进出口银行龙趺 MPP DB 持续开拓中户、丰富产品生态，打造更为先进、安全的数据仓库产品！！国家开发银行云南农信云南政务全球敏捷运维峰会广州站

23. THANK YOU！全球敏捷运维峰会广州站