视频生成推理加速实践：基于 torch.compile 的整图编译优化

视频生成推理加速实践：基于 torch.compile 的整图编译优化

摘要

Self-Forcing视频生成模型通过逐块自回归策略优化推理效率，但面临Python控制流、张量转换等编译挑战。采用torch.compile进行整图编译，消除Graph Break，显著提升性能。优化关键在于保持计算逻辑完全以张量形式表达，避免Host端参与，实现高效的CUDA执行。最终，整图编译在480P视频生成任务中实现47.6%的加速效果。