BIGO 大数据 HDFS 集群慢节点的优化实践
摘要
随着HDFS集群规模的不断增长、服务器使用寿命的缩减,在大规模集群中性能退化节点的出现是必然的,我们将这样的节点称为慢节点。慢节点问题是大规模集群中的常见问题,其影响范围可以波及整个集群,会对集群的吞吐能力造成严重的影响。
HDFS作为大数据平台的存储底座,慢节点问题将对上层各个应用产生频繁的影响,可能造成数据无法按时产出,上游任务的延迟将波及下游任务,发生链式反应。Hadoop社区原生版本中对慢节点的防治有初步的实践,在此基础上我们进行了系统性的设计与开发,尽最大可能优化慢节点问题。本文主要介绍BIGO大数据存储团队在HDFS慢节点治理方面所做的主要工作和实践经验。
欢迎在评论区写下你对这篇文章的看法。