面向LLM智能体强化学习训练的故障排查与实验设计指南。针对PPO、GRPO等算法训练中的奖励不收敛、评估平坦、KL爆炸等症状,提供基于知识库的根因诊断与修复方案,辅助框架选择与消融实验设计。
分析、调试多GPU训练中LengthPoolSortDataset的跨rank长度同步机制,通过排序和确定性shuffle对齐各卡样本长度,消除梯度同步等待瓶颈,优化训练效率。
用于路由 verl-omni 训练与推理一致性检查。通过 MSProbe 收集配对 dump,结合根因分析技能排查扩散或全模态模型的数值差异,输出诊断报告及根本原因。
诊断量化回测失败或表现不佳的问题,通过检查日志、代码和数据定位根因(如运行时错误、逻辑缺陷或数据问题),并应用修复后重新验证。
诊断并调优 Relax OPD/MOPD 训练,优化教师引擎参数、显存、分卡及多模态缓存。针对 OOM、超时或资源失衡提供带证据的修复方案。
用于调查地理编码数据质量问题,通过查询S3上的Parquet文件排查自动补全、重复或缺失等数据错误。
提供基于 Jupyter kernel 的状态保持 Python REPL,支持增量代码执行、变量检查及 Notebook 管理。适用于数据科学、ML 探索及复杂代码迭代调试,优于无状态脚本工具。
针对NVIDIA DGX Spark GB10统一内存架构,提供训练前内存预算、OOM故障排查及长时间运行时的温度与功耗监控指导。
用于诊断 dbt Cloud/平台作业失败的根本原因,通过分析运行日志、查询 Admin API、审查 Git 历史及调查数据问题。适用于错误信息不明确或间歇性故障场景,旨在定位基础设施、代码或数据层面的缺陷。
利用 LangWatch CLI 排查实验失败与评估回归。通过定位失败运行、隔离异常数据行及检查评估器,区分执行错误与分数漂移,进而追溯至 Prompt、模型或代码等根本原因。


