Kimi 稳定高效的 LLM 基础设施构建之道

1. Kimi 稳定

2. 录 03 04 01 规模训推集群的挑战全链路稳定性提升效资源利强化学习中的混合部署

3.

4. 01 规模训推集群的挑战

5. 规模训推集群的挑战效的资源使范式资源使不够线上推理呈现常明显的潮汐效应，资源需要能动 workload，需要平衡态的根据时间进的资源占分配，避免资源浪费效强化学习中存在训推两种推理潮汐效应防者资源分配不均衡 RL 资源分配不均

6. 02 全链路稳定性提升 The more you stabilize, the more you save

7. Varys

8. PreCheck、周期巡检集群动进检流程，动

9. 调栈全链路监控 CPU 调栈监控 • 周期记录 py 调栈 • 任务奔溃之后记录 torch 调 • 提供聚类信息供栈户查看是否有异常代码或机器 GPU 调 • 分级插栈监控 CUDA event • 导出 event 信息整合成时序图

10. 智能志分析离线志聚合查询 • 从任务的各种志中查询，匹配特殊的模式，寻找报错的实际 • 和机器故障联动，展示导致些志个任务故障的所有诱因在线志监控 • 从 tensorboard、机器巡检等在线监控指标中寻找当前任务是否有异常

11. 连续异步 checkpoint

12. 03 效资源利

13. 全动清理弹性 •统托管 tensorboard • 优化读取速率，持任意实验之间的 tensorboard 对 • 持实验 merge，merge 之后的实验互相对

14. 跨机房推理模型分发

15. 训推多级潮汐系统线上 Kimi 推理服务不可抢占训练任务 Spot 训练任务低优先级离线推理重保服务，必须保证稳定运优先级训练任务低优任务，使潮汐资源插空调度，随时被抢占

16. 训推多级潮汐系统

17. 04 强化学习中的混合部署 RL Hybrid Deployment

18. 强化学习 Infra 的挑战 RL 有复杂的计算流程训推是两种不同的模式 • 训推 pipeline 流程较复杂 • 训练和推理框架跑的是两套代码，各 • 训推计算流对硬件的要求可能是不 • Rollout 期间由于请求回复了度不样的致造成尾问题导致整体速度变慢和资源浪费各的优化 • 训推任务不案，较难融合者的 checkpoint 格式不致 • 训推任务互相切换造成 GPU 闲置浪费 • 训推并有样模式不致，需要的资源可能也

19. k1.5 RL System Overview and Partial Rollout

20. k1.5 Hybrid Deployment •利 sidecar 隔离环境 • 训推共享资源，避免资源闲置 • 不落盘传输 weight • 兼容训推不同的并策略

21. Greedy Rollout 优势 •最化利空闲和异构资源，提 rollout 速度重点问题 • 多机推理和 weights 传输中动态调整 RDAM QoS • Rollout 请求需要做动态负载均衡 • Isolated Pod 和 Core Pod 可能是异构的

22.

23. THANKS 模型正在重新定义软件 Large Language Model Is Redefining The Software