BIGO 大数据 HDFS 集群慢节点的优化实践

摘要

随着HDFS集群规模的不断增长、服务器使用寿命的缩减,在大规模集群中性能退化节点的出现是必然的,我们将这样的节点称为慢节点。慢节点问题是大规模集群中的常见问题,其影响范围可以波及整个集群,会对集群的吞吐能力造成严重的影响。

HDFS作为大数据平台的存储底座,慢节点问题将对上层各个应用产生频繁的影响,可能造成数据无法按时产出,上游任务的延迟将波及下游任务,发生链式反应。Hadoop社区原生版本中对慢节点的防治有初步的实践,在此基础上我们进行了系统性的设计与开发,尽最大可能优化慢节点问题。本文主要介绍BIGO大数据存储团队在HDFS慢节点治理方面所做的主要工作和实践经验。

欢迎在评论区写下你对这篇文章的看法。

评论

首页 - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-01 07:54
浙ICP备14020137号-1 $访客地图$