Alluxio Fuse 在知乎的实践与优化

Alluxio Fuse 在知乎的实践与优化

摘要

Alluxio Fuse是一种数据编排技术，可以将Alluxio上的数据挂载到操作系统本地，方便访问分布式存储上的数据。然而，使用Alluxio Fuse存在大文件读取速度不理想的问题。通过研究和debug，发现问题出在libfuse每次交换数据量最大为128KB的限制上。用户请求读取1MB的文件会被拆分为8个128KB的请求，导致读取速度慢。为了优化Alluxio Fuse的读取速度，需要解决这个限制。