用大规模 Agentic RL 训练 AI 自动生成高性能 CUDA Kernel

用大规模 Agentic RL 训练 AI 自动生成高性能 CUDA Kernel

摘要

ByteDance Seed提出的CUDA Agent通过三阶段强化学习训练LLM，使其像顶级GPU性能工程师一样工作，自主优化CUDA kernel。在KernelBench测试中，CUDA Agent整体比torch.compile快2.11倍，尤其在算子融合任务上表现突出。该方法突破了传统编译器的局限，展示了AI在系统优化中的潜力。