微尘之患:探寻小文件问题的原理与对策

摘要

在大数据处理和存储中,"小文件" 通常是指文件大小远小于HDFS(分布式文件系统)中块(block)大小的文件。一般公司集群的block大小在128MB/256MB这二者的居多,因此,公司对小文件的大小没有一个统一的定义,通常小的不足1MB,大的甚至达到32MB或更大。

欢迎在评论区写下你对这篇文章的看法。

评论

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.139.0. UTC+08:00, 2024-12-23 03:37
浙ICP备14020137号-1 $Map of visitor$