CubeFS在BIGO机器学习平台的应用实践

CubeFS 在 BIGO 机器学习平台的应用实践

摘要

随着BIGO机器学习平台模型和数据量的增长，对底层依赖的文件系统提出了更多的需求，如多租户、高并发、多机房高可用、高性能、云原生等特性。BIGO大数据平台存储团队在经过多方技术选型，多角度对比之后发现CubeFS有很多特性适合机器学习平台的应用场景。

本文主要介绍BIGO大数据平台存储团队将CubeFS上线到生产环境的主要实践经验与开发工作。大部分的功能开发及问题修复也贡献到开源社区，经过半年多的努力，团队中三位同学获得CubeFS开源社区的Collaborator，提升了BIGO在CubeFS开源社区的影响力。