本篇系超大规模数据库集群保稳系列的第四篇（下），本篇介绍了数据库内核可观测性建设、全量SQL、异常处理以及索引优化建议与SQL治理方面的内容。

本篇系超大规模数据库集群保稳系列的第四篇（上），本文将介绍数据库的异常发现与诊断方面的内容。

作者通过一个慢日志问题，引出 MySQL 半一致性读的概念及实际应用场景。

本文主要解决JAVA应用G1垃圾回收STW时间过长问题，阐述排查流程及优化方案。通过G1参数调优、解决MySQL(PhantomReference)虚引用问题，将STW时间控制到100ms以内。

mysql的高性能主要体现在写和读上，在写的层面公司DBA已经进行了主从主备的高可用部署，同时对redolog、binlog等有很好的管理，基于我们目前对快速读的需求比较多，本文主要探讨怎么高性能读？

我们以5.7.36版本作为演示版本，探索一下MySQL内部字符集的实现，以此来从内部的视角来看看神秘的MySQL字符集是如何实现的。

At Meta, we run one of the largest deployments of MySQL in the world. The deployment powers the social graph along with many other services, like Messaging, Ads, and Feed. Over the last few years, we have implemented MySQL Raft, a Raft consensus engine that was integrated with MySQL to build a replicated state machine. We have migrated a large portion of our deployment to MySQL Raft and plan to fully replace the current MySQL semisynchronous databases with it. The project has delivered significant benefits to the MySQL deployment at Meta, including higher reliability, provable safety, significant improvements in failover time, and operational simplicity — all with equal or comparable write performance.

本文介绍了MySQL慢查询日志的配置方式和日志内容格式。慢查询日志参数可通过写入MySQL配置文件或在MySQL Server中临时开启来进行配置。日志中记录了每条慢SQL的执行时刻、执行用户、执行时间、获取锁时间、发送给Client端的行数和扫描的行数等信息。开发者可以根据日志内容进行性能优化。

MySQL使用分区剪枝来确定哪些分区符合查询条件，根据不同的分区类型进行判断。使用SEL_TREE描述区间范围进行剪枝，每个SEL_ARG包含一个或多个分区键。SEL_TREE可以分为三种情况，其中第三种情况是多个index merge tree，可以描述成merge_tree1 AND merge_tree2 ... AND merge_treeN，每个merge tree类似于第二种情况。在find_used_partitions中，根据分区类型和剪枝条件是否为一个等值查询进行剪枝，剪枝的结果取并集。如果无法只创建一个SEL_ARG，则会创建一个index_merge tree。

MySQL Replication（主从复制）是指数据变化可以从一个MySQL Server被复制到另一个或多个MySQL Server上，通过复制的功能，可以在单点服务的基础上扩充数据库的高可用性、可扩展性等。

你遇到过 Mysql--index merge 死锁吗？

在我们的常规认知中，过滤条件肯定是推的越靠近底层越好，将尽可能多的过滤条件更贴近数据源，以使查询时能跳过无关的数据，在AnalyticDB MySQL中，由于存储计算分离架构，那么谓词下推就是把所有能推的谓词都推到存储节点上去做。比如下图，所有的过滤条件都推到存储节点上去做，这样减少了后续算子的计算量，也减少了中间网络传输的数据量。谓词下推带来了很多的好处，基本上所有数据库，都会把谓词下推作为他们重要的优化功能。

最近在折腾rust与数据库集成，选了Tidb Cloud Serverless Tier 作为数据源。Tidb 无疑是近五年来最优秀的国产开源分布式数据库，Tidb Cloud Serverless Tier作为pingcap旗下的云产品方便又经济。

Buffer Pool：缓冲池，简称 BP。其作用是用来缓存表数据与索引数据，减少磁盘 IO 操作，提升效率。

在数据库的运维工作中经常会遇到业务的改表需求，这可能是 DBA 比较头疼的需求，其中添加唯一索引可能又是最头疼的需求之一了。

MySQL 5.6 开始支持 Online DDL ，添加[唯一]索引虽然不需要重建表，也不阻塞 DML ，但是大表场景下还是不会直接使用 Alter Table 进行添加，而是使用第三方工具进行操作，比较常见的就属 pt-osc 和 gh-ost 了。本文就来总结梳理一下添加唯一索引的相关内容。

项目中需要使用 DAG 结构表示离线任务、数据源血缘关系及数据流向，采用 MySQL 来存储 DAG 数据结构并完成增删改查等常规功能。这里对 MySQL 存储、操作、遍历 DAG 图的方法进行记录。