B站模型训练存储加速实践

B 站模型训练存储加速实践

摘要

B站通过Alluxio构建缓存加速方案，提升AI模型训练存储性能。方案利用现有SSD资源，降低硬件成本，优化I/O性能，实现高吞吐、低延迟访问。针对元数据扩展、系统稳定性、写入一致性等挑战，提出动态Checkpoint、小文件折叠、直写HDFS等创新方案。未来计划完善缓存管理策略，提升读写稳定性，构建全链路存储加速方案，进一步支持大规模模型训练。