记一次光模块光衰引发的血案

记一次光模块光衰引发的血案

摘要

2021年的1月1号，新年伊始的2:27分，突然大数据运维同学在钉钉群中反馈，大数据的slave002节点是不是卡住了。

DBA和运维同学就着手进行排查。

DBA同学反馈，从IDC的大数据集群通过网络拉取阿里云的RDS数据库，确实耗时大幅增加，我们看下图中的Time字段，平时在分钟级别的，今天暴增到了小时级别，网络延时大幅增加。