Agent Skills
› sgl-project/sglang
sgl-project/sglang
GitHub提供在SGLang中添加轻量级JIT CUDA内核的分步教程，涵盖目标定义、JIT与AOT选择策略及代码规范。
Install All Skills
npx skills add sgl-project/sglang --all -g -y
Skills in Collection (26)
提供在SGLang中添加轻量级JIT CUDA内核的分步教程，涵盖目标定义、JIT与AOT选择策略及代码规范。
需要添加新的CUDA计算内核
了解JIT与AOT编译模式的区别
npx skills add sgl-project/sglang --skill add-jit-kernel -g -y
提供向 sgl-kernel 添加 AOT CUDA/C++ 内核的分步教程，涵盖实现、注册、构建、测试及基准脚本，指导开发者完成重型算子的集成工作。
需要添加新的 CUDA 或 C++ 算子
执行 sgl-kernel 内核开发流程
配置 AOT 编译与 PyTorch 扩展
npx skills add sgl-project/sglang --skill add-sgl-kernel -g -y
持续监控并修复指定 GitHub PR 的 CI 工作流失败，自动执行小范围代码修正或重试，直至选定流程通过。
用户要求监视或修复 PR 的 CI 状态
需要自动重试失败的 GitHub Actions 工作流
请求确保 PR 合并前特定 lint 或测试流程通过
npx skills add sgl-project/sglang --skill babysit-pr-to-pass-ci -g -y
审计现有测试树和 CI 配置，利用模式目录优化测试结构、缩短 CI 时间或降低成本。适用于审查测试、CI 变更合规性及清理冗余测试等场景。
审查测试或 CI 配置
缩减 CI 时间和成本
查找或清理冗余/ misplaced 测试
检查 CI 变更是否符合既定实践
npx skills add sgl-project/sglang --skill ci-test-audit -g -y
SGLang CI工作流编排指南，涵盖阶段排序、快速失败、门控机制及故障调试。用于修改CI流程、添加阶段或排查流水线问题。
修改CI工作流配置
添加新的CI阶段
调试CI流水线失败
理解测试分发与门控逻辑
npx skills add sgl-project/sglang --skill ci-workflow-guide -g -y
审计SGLang启动日志，自动运行多模型配置并捕获输出，分析去重、警告等噪音，生成清理建议供用户审核。
需要审计SGLang服务启动日志
检查LLM推理引擎启动噪音与异常
npx skills add sgl-project/sglang --skill clean-startup-log -g -y
计算混合注意力模型的最优显存分配比例，平衡状态池与KV池，避免瓶颈。
询问 --mamba-full-memory-ratio 设置值
分析并发限制原因
配置混合模型服务内存
npx skills add sgl-project/sglang --skill compute-mamba-ratio -g -y
用于向 SGLang Cookbook 添加新模型，通过实例化配置模板生成 JSX 配置文件、基准测试和 MDX 文档页面，并更新导航与主页卡片。
需要为新 AI 模型创建官方文档页面
将新模型集成到基于配置的文档系统中
npx skills add sgl-project/sglang --skill cookbook-add-model -g -y
将旧版 Cookbook 模型页面迁移至配置驱动模板，严格忠实于源数据。用于转换现有页面，不用于新建模型。
用户请求迁移或转换现有的 Cookbook 模型页面
执行 /cookbook-migrate-model 命令并指定模型页名
npx skills add sgl-project/sglang --skill cookbook-migrate-model -g -y
用于审查 SGLang Cookbook PR，验证文件规范、配置质量及引擎隔离，确保符合 Mintlify 渲染要求。
审查 Pull Request
文档合规性检查
npx skills add sgl-project/sglang --skill cookbook-review-pr -g -y
提供在SGLang中调试CUDA崩溃的方法，通过@debug_kernel_api装饰器记录内核API调用前后的输入张量信息，帮助定位非法内存访问、越界或数值异常等问题。
遇到CUDA崩溃错误
需要捕获崩溃前的张量数据
排查GPU计算中的数值异常
npx skills add sgl-project/sglang --skill debug-cuda-crash -g -y
用于调试SGLang分布式推理中因状态分歧导致的挂起、死锁或超时问题。提供通过py-spy、NCCL日志和CUDA coredump定位故障点，以及二分法排查的方法论。
多GPU SGLang运行挂起或冻结
集体操作期间出现超时
需要定位分布式推理中的死锁位置
npx skills add sgl-project/sglang --skill debug-distributed-hang -g -y
规范 SGLang 环境变量管理，定义在 Envs 类中注册、类型选择及弃用处理流程。用于新增、重命名或审查 SGLANG_* 变量时确保统一性和可维护性。
新增或重命名 SGLANG_* 环境变量
审查 environ.py 中的环境变量定义
迁移废弃的 SGL_* 别名
npx skills add sgl-project/sglang --skill env-var-conventions -g -y
自动化启动SGLang服务器，执行健康检查与精度验证，生成Chrome兼容的端到端性能分析追踪文件并返回路径。
需要分析SGLang服务端性能
获取模型推理过程的CPU/GPU耗时详情
npx skills add sgl-project/sglang --skill generate-profile -g -y
规范 SGLang 内核代码的组织结构，定义 API 放置、分组逻辑、注册方式及测试目录标准，确保内核模块的清晰性与可维护性。
添加新的内核 API
移动或拆分内核文件
审查内核代码结构
npx skills add sgl-project/sglang --skill kernel-organization -g -y
用于编写、校准和调试sglang的KL一致性测试，通过对比prefill与decode路径的logprob差异，验证算子批不变性和状态一致性，辅助定位缓存恢复或内核实现导致的数值发散问题。
添加新的KL一致性测试用例
确定或辩护kl_div阈值
调查过高的KL值以定位故障
npx skills add sgl-project/sglang --skill kl-consistency-test -g -y
规范SGLang中Scheduler、TokenizerManager和ModelRunner三大核心类的代码风格，强调‘冻结代码’原则，要求仅保留对象构造、依赖注入、委托调用及协调逻辑，禁止包含领域计算或转换逻辑，以防止类膨胀并提升可测试性。
修改 Scheduler, TokenizerManager 或 ModelRunner 类
审查上述三个类的代码变更
npx skills add sgl-project/sglang --skill large-class-style -g -y
统一 LLM 性能分析技能，支持 sglang、vLLM、TensorRT-LLM 和 TokenSpeed。通过 triage 工作流分析 trace.json 或驱动实时 profiling，输出内核、重叠机会及融合模式三表报告，辅助性能调优。
需要分析现有 LLM 推理框架的性能追踪文件
需要对运行中的 LLM 服务器进行实时性能剖析
npx skills add sgl-project/sglang --skill llm-torch-profiler-analysis -g -y
用于将机械重构（如文件拆分、函数移动、模块提取）转化为机器可验证的过程。通过生成重现实验证明提交仅为纯位置变更，支持拆分、构造证明和验证命令，确保重构准确性并排除非机械变更。
执行或审查代码重构任务
验证文件拆分或函数移动的字节级一致性
检查提交是否包含非机械性质的修改
npx skills add sgl-project/sglang --skill mechanical-refactor-verify -g -y
SGLang脚本化运行时测试指南，规范何时添加API及引擎驱动行为。明确控制原语、Hook支持及多结构派生的添加条件，禁止暴露实现细节或同步调用私有方法，确保测试通过真实路径验证结果而非探针状态。
编写SGLang脚本化运行时相关测试
决定是否为运行时添加新的测试API
调试与调度器循环相关的测试时序问题
npx skills add sgl-project/sglang --skill scripted-runtime-notes -g -y
分析SGLang CI持续失败测试，通过提取失败签名、二分法定位回归提交、检查硬件特异性及远程复现，定位CI回归根因。
CI测试在main分支持续失败
需要定位引入回归的PR
怀疑是Runner或GPU特定问题
需要在远程服务器复现CI失败
npx skills add sgl-project/sglang --skill sglang-bisect-ci-regression -g -y
用于 SGLang 发布管理，批量触发 GitHub Actions 将已合并的 PR Cherry-Pick 到指定发布分支。包含参数校验、本地冲突预检及 CI 运行监控，并报告每个 PR 的成功或失败详情。
需要执行多个 PR 的 Cherry-Pick 操作
SGLang 发布经理请求将特定 PR 合并至发布分支
npx skills add sgl-project/sglang --skill sglang-cherrypick -g -y
SGLang服务故障排查技能，通过收集基线数据、保存失败请求并回放，定位延迟、崩溃或分布式挂起等问题，输出诊断结论与下一步建议。
服务器健康检查失败
延迟或吞吐量回归
队列增长或超时
分布式挂起或崩溃
npx skills add sgl-project/sglang --skill sglang-prod-incident-triage -g -y
解析 SGLang 运行时上下文架构，涵盖配置层级、状态管理及测试规范。指导开发者正确访问 ServerArgs、模型覆盖及转发状态，避免直接操作模块级全局状态，确保开发符合设计范式。
需要了解 SGLang 运行时配置结构
调试或修改 server_args 和模型覆盖逻辑
处理进程级全局状态或 per-forward 标志
编写针对运行时上下文的单元测试
npx skills add sgl-project/sglang --skill sglang-runtime-context -g -y
规范 SGLang 推测解码模块的标识符命名，规定动词形式、bonus token 术语及计数后缀，确保代码一致性。
添加或重命名推测解码相关变量/函数名
审查 speculative decoding 代码中的标识符命名
npx skills add sgl-project/sglang --skill speculative-naming -g -y
指导编写SGLang CI/UT测试，涵盖CustomTestCase使用、CI注册、服务器夹具、模型选择及Mock策略，规范测试放置与资源清理。
创建新的单元测试或集成测试
添加CI测试用例
为SGLang特性编写测试
npx skills add sgl-project/sglang --skill write-sglang-test -g -y
