B站文生视频模型工程实践

B 站文生视频模型工程实践

摘要

OpenAI推出GPT-4和Sora模型后，B站TTV团队积极探索文生视频模型。文章详细介绍了OpenSora和CogVideoX的架构与训练流程，并分享了数据存储、预处理、模型并行优化等工程实践经验。团队通过HDFS+Alluxio方案提升数据加载效率，采用序列并行策略优化显存占用，并适配NPU架构以提升训练性能。未来计划引入流水线并行和分层ZERO3技术，进一步优化模型训练。