Agent Skills
› sgl-project/sglang
sgl-project/sglang
GitHub提供向SGLang添加轻量级JIT CUDA内核的分步教程，涵盖命名空间、类型支持及JIT与AOT的选择策略。
安装全部 Skills
npx skills add sgl-project/sglang --all -g -y
集合内 Skills (55)
按质量分展示前 50 个（共 55 个），完整列表请用安装命令预览或逐个打开详情。
提供向SGLang添加轻量级JIT CUDA内核的分步教程，涵盖命名空间、类型支持及JIT与AOT的选择策略。
需要添加新的CUDA计算内核
了解SGLang JIT基础设施的使用规范
npx skills add sgl-project/sglang --skill add-jit-kernel -g -y
提供在sgl-kernel中添加AOT CUDA/C++内核的分步教程，涵盖C++实现、Torch扩展注册、构建配置、测试及基准脚本的完整工作流。
需要添加新的CUDA内核到sgl-kernel
遵循AOT重型内核的开发规范
npx skills add sgl-project/sglang --skill add-sgl-kernel -g -y
持续监控指定PR的CI工作流，自动诊断并修复轻微问题，重试不稳定任务，直至所选工作流全部通过。
需要监控PR CI状态
要求修复PR构建失败
请求重试CI任务
npx skills add sgl-project/sglang --skill babysit-pr-to-pass-ci -g -y
审计现有测试树和CI配置，利用模式目录识别冗余或 misplaced 测试，优化CI时间与成本。提供具体改进建议，如删除重复测试、调整层级，而非直接修改代码。
审查测试或CI配置
缩短CI时间或降低成本
查找冗余或位置不当的测试
清理测试组
检查CI变更是否符合既定规范
npx skills add sgl-project/sglang --skill ci-test-audit -g -y
SGLang CI工作流编排指南，涵盖分层策略、阶段排序、故障快速失败、门控机制及执行模式。用于修改CI流程、添加测试阶段或运行器、调试流水线问题及理解测试分发逻辑。
修改CI工作流配置
调试CI流水线故障
添加新的测试阶段或运行器
理解测试分发与门控机制
npx skills add sgl-project/sglang --skill ci-workflow-guide -g -y
自动审计SGLang服务启动日志，保存证据并生成清理建议供用户审查。默认运行多模型配置以覆盖不同并行模式，捕获日志后分析弃用警告、重复输出等噪音，辅助优化日志清晰度。
需要审计SGLang启动日志
发现启动日志存在噪音或警告
希望优化LLM服务启动时的日志输出
npx skills add sgl-project/sglang --skill clean-startup-log -g -y
计算混合注意力模型（Mamba/GDN/KDA）的内存池分配比例，平衡状态与KV缓存。根据上下文长度、并发策略及硬件参数，自动推导最优 --mamba-full-memory-ratio，避免资源瓶颈。
询问如何设置 --mamba-full-memory-ratio
分析并发受限原因
配置混合模型的服务内存池大小
npx skills add sgl-project/sglang --skill compute-mamba-ratio -g -y
用于向 SGLang Cookbook 添加新模型，通过实例化配置模板生成 JSX 配置、基准测试及 MDX 页面，并更新导航与主页卡片。
需要为 SGLang 文档添加新模型介绍
用户请求 /cookbook-add-model 命令
npx skills add sgl-project/sglang --skill cookbook-add-model -g -y
将旧版 Cookbook 模型页面迁移至配置驱动模板，严格忠实于源数据。用于转换或移植现有页面，而非新增模型。
用户要求迁移、转换或移植现有的 Cookbook 页面
执行 /cookbook-migrate-model 命令
npx skills add sgl-project/sglang --skill cookbook-migrate-model -g -y
用于审查 SGLang Cookbook PR，验证配置文件、MDX 页面及静态资源是否符合规范。通过检查文件类型、引擎代码隔离及配置结构，确保文档贡献质量。
用户请求审查特定 PR
提交包含 cookbook 内容的 Pull Request
npx skills add sgl-project/sglang --skill cookbook-review-pr -g -y
提供SGLang中CUDA崩溃的调试方法，通过@debug_kernel_api装饰器在程序崩溃前捕获输入张量、形状及数值信息，辅助定位非法内存访问或NaN等问题。
CUDA运行时崩溃
需要分析GPU内核执行前的输入数据
排查张量形状或数据类型错误
npx skills add sgl-project/sglang --skill debug-cuda-crash -g -y
针对SGLang分布式推理挂起问题的调试指南，涵盖通过py-spy、NCCL日志和CUDA coredump定位死锁，使用二分法查找状态分歧点并提供修复方案。
多GPU SGLang运行挂起或冻结
集体操作超时
需要定位分布式推理中的死锁位置
npx skills add sgl-project/sglang --skill debug-distributed-hang -g -y
规范SGLang环境变量定义、访问及命名约定。指导在environ.py中注册变量，选择类型描述符，处理废弃别名，确保配置集中管理。
添加新的SGLANG_*环境变量
重命名或迁移遗留的SGL_*别名
审查或修改python/sglang/srt/environ.py文件
npx skills add sgl-project/sglang --skill env-var-conventions -g -y
自动化启动SGLang服务端，执行健康检查与精度验证，捕获Chrome兼容格式的E2E性能分析轨迹文件，并返回路径。
需要分析SGLang服务性能时
生成端到端性能追踪报告时
npx skills add sgl-project/sglang --skill generate-profile -g -y
规范 SGLang 内核的组织结构，定义按计算类型分组的命名空间规则，处理插件集成与迁移。
添加新内核 API
移动或拆分内核代码
审查内核注册元数据
npx skills add sgl-project/sglang --skill kernel-organization -g -y
用于编写、校准和调试 SGLang 中预填充与解码的 KL 一致性测试，验证算子批不变性及路径函数一致性，定位缓存或算子发散问题。
添加模型 KL 测试
选择或辩护 kl_div 阈值
调查过高的 KL 数值
npx skills add sgl-project/sglang --skill kl-consistency-test -g -y
定义SGLang核心大类的代码风格，强制Scheduler、TokenizerManager和ModelRunner保持纯编排逻辑，禁止内联领域逻辑，防止演变为上帝类。
修改 Scheduler、TokenizerManager 或 ModelRunner 文件
审查涉及上述三个类的代码变更
npx skills add sgl-project/sglang --skill large-class-style -g -y
统一LLM框架性能分析技能，支持sglang、vllm等。通过triage工作流解析trace文件或驱动实时采集，输出kernel、重叠机会和融合模式三表报告，辅助GPU性能调优。
需要分析LLM推理性能瓶颈
查看或生成torch-profiler分析报告
npx skills add sgl-project/sglang --skill llm-torch-profiler-analysis -g -y
提供机械重构（文件拆分、函数移动等）的机器可验证方案，通过生成和校验重现实例确保变更纯为位置调整，防止非重构代码混入。
执行或审查机械重构任务
验证重构提交的字节级一致性
将复杂变更拆分为可验证的准备、移动和后处理步骤
npx skills add sgl-project/sglang --skill mechanical-refactor-verify -g -y
确保 Rust 处理器与 Python 服务端在聊天提示渲染和分词上完全一致。用于添加新模型、移植渲染逻辑或调试 Prompt 不匹配问题，保障请求处理路径的正确性。
添加新模型到 sglang-processor
将模型的渲染逻辑从 sgl-router 移植
调试处理器与 Python 端的 Prompt 不匹配
npx skills add sgl-project/sglang --skill processor-model-parity -g -y
用于在PR评论中触发特定测试文件运行，覆盖基础CI未涵盖的额外、夜间或每周层级测试。通过指定变更文件或模块，确保相关代码得到充分验证，提升测试覆盖率与发布质量。
PR修改了需额外/夜间/每周运行的测试代码
需要手动触发特定测试以验证变更
合并前确认相关测试已通过
npx skills add sgl-project/sglang --skill rerun-test -g -y
SGLang脚本化运行时测试指南，规定何时添加API、如何驱动引擎循环及断言原则，避免直接访问内部状态或破坏封装。
询问SGLang脚本化运行时测试规范
需要编写或审查与Scripted Runtime相关的测试代码
确定在harness中是否应添加新的API
npx skills add sgl-project/sglang --skill scripted-runtime-notes -g -y
用于排查 SGLang CI 持续失败的回归问题，通过提取失败签名、二分法定位引入回归的提交，并支持在远程 GPU 主机复现故障，以区分代码回归或硬件环境问题。
CI 测试在主分支持续失败
需要定位引入回归的具体 PR
怀疑是运行器或 GPU 特定的问题
npx skills add sgl-project/sglang --skill sglang-bisect-ci-regression -g -y
用于 SGLang 发布流程，通过 Slash 命令批量触发 PR 的 Cherry-Pick 工作流。包含参数校验、本地冲突预检及运行状态监控，旨在自动化将已合并的 PR 移植到指定发布分支。
用户请求将多个已合并的 PR 移植到特定发布分支
执行 /sglang-cherrypick 命令以批量处理 Release 更新
npx skills add sgl-project/sglang --skill sglang-cherrypick -g -y
用于调查 SGLang CUDA 图生命周期与回放正确性，支持新执行、只读归档检查及重新计算。针对多图共享缓冲区等特定场景，提供详细的执行前检查、资源确认及结果报告流程。
需要验证 SGLang CUDA 图的生命周期管理
检查多图或变体共享缓冲区时的回放正确性
审查已归档的图检查运行记录
npx skills add sgl-project/sglang --skill sglang-multi-graph-check -g -y
针对SGLang服务故障的调试技能，通过收集基线、保存失败请求并回放来定位问题。适用于健康检查失败、延迟回归、超时或崩溃等场景，旨在将现场问题转化为可复现的调试路径。
服务器健康检查失败
延迟或吞吐量显著下降
请求队列异常增长
服务超时或分布式挂起
部署后输出异常或崩溃
npx skills add sgl-project/sglang --skill sglang-prod-incident-triage -g -y
解析SGLang运行时上下文架构，涵盖进程单例、配置层级（原始种子、解析配置、运行时标志等）及资源管理。指导开发者正确访问和修改服务器参数、模型覆盖及转发状态，确保符合设计范式与测试规范。
需要了解SGLang运行时配置结构
处理server_args或模型覆盖逻辑
开发或调试涉及全局状态的操作
npx skills add sgl-project/sglang --skill sglang-runtime-context -g -y
定义 SGLang 投机解码代码的标识符命名规范，涵盖动词形式、bonus token 术语及计数前缀规则。
添加或重命名投机解码相关标识符
审查 speculative decoding 代码中的命名
npx skills add sgl-project/sglang --skill speculative-naming -g -y
指导编写 SGLang CI/UT 测试，涵盖用例注册、资源清理规范、测试分层及 Mock 策略。用于创建新测试或调整 CI 配置。
创建新的单元测试或集成测试
将测试添加到 CI 流水线
询问如何为 SGLang 功能添加测试
npx skills add sgl-project/sglang --skill write-sglang-test -g -y
提供在SGLang中添加轻量级JIT CUDA内核的分步教程，涵盖目标定义、JIT与AOT选择策略及代码规范。
需要添加新的CUDA计算内核
了解JIT与AOT编译模式的区别
npx skills add sgl-project/sglang --skill add-jit-kernel -g -y
提供向 sgl-kernel 添加 AOT CUDA/C++ 内核的分步教程，涵盖实现、注册、构建、测试及基准脚本，指导开发者完成重型算子的集成工作。
需要添加新的 CUDA 或 C++ 算子
执行 sgl-kernel 内核开发流程
配置 AOT 编译与 PyTorch 扩展
npx skills add sgl-project/sglang --skill add-sgl-kernel -g -y
持续监控并修复指定 GitHub PR 的 CI 工作流失败，自动执行小范围代码修正或重试，直至选定流程通过。
用户要求监视或修复 PR 的 CI 状态
需要自动重试失败的 GitHub Actions 工作流
请求确保 PR 合并前特定 lint 或测试流程通过
npx skills add sgl-project/sglang --skill babysit-pr-to-pass-ci -g -y
审计现有测试树和 CI 配置，利用模式目录优化测试结构、缩短 CI 时间或降低成本。适用于审查测试、CI 变更合规性及清理冗余测试等场景。
审查测试或 CI 配置
缩减 CI 时间和成本
查找或清理冗余/ misplaced 测试
检查 CI 变更是否符合既定实践
npx skills add sgl-project/sglang --skill ci-test-audit -g -y
SGLang CI工作流编排指南，涵盖阶段排序、快速失败、门控机制及故障调试。用于修改CI流程、添加阶段或排查流水线问题。
修改CI工作流配置
添加新的CI阶段
调试CI流水线失败
理解测试分发与门控逻辑
npx skills add sgl-project/sglang --skill ci-workflow-guide -g -y
审计SGLang启动日志，自动运行多模型配置并捕获输出，分析去重、警告等噪音，生成清理建议供用户审核。
需要审计SGLang服务启动日志
检查LLM推理引擎启动噪音与异常
npx skills add sgl-project/sglang --skill clean-startup-log -g -y
计算混合注意力模型的最优显存分配比例，平衡状态池与KV池，避免瓶颈。
询问 --mamba-full-memory-ratio 设置值
分析并发限制原因
配置混合模型服务内存
npx skills add sgl-project/sglang --skill compute-mamba-ratio -g -y
用于向 SGLang Cookbook 添加新模型，通过实例化配置模板生成 JSX 配置文件、基准测试和 MDX 文档页面，并更新导航与主页卡片。
需要为新 AI 模型创建官方文档页面
将新模型集成到基于配置的文档系统中
npx skills add sgl-project/sglang --skill cookbook-add-model -g -y
将旧版 Cookbook 模型页面迁移至配置驱动模板，严格忠实于源数据。用于转换现有页面，不用于新建模型。
用户请求迁移或转换现有的 Cookbook 模型页面
执行 /cookbook-migrate-model 命令并指定模型页名
npx skills add sgl-project/sglang --skill cookbook-migrate-model -g -y
用于审查 SGLang Cookbook PR，验证文件规范、配置质量及引擎隔离，确保符合 Mintlify 渲染要求。
审查 Pull Request
文档合规性检查
npx skills add sgl-project/sglang --skill cookbook-review-pr -g -y
提供在SGLang中调试CUDA崩溃的方法，通过@debug_kernel_api装饰器记录内核API调用前后的输入张量信息，帮助定位非法内存访问、越界或数值异常等问题。
遇到CUDA崩溃错误
需要捕获崩溃前的张量数据
排查GPU计算中的数值异常
npx skills add sgl-project/sglang --skill debug-cuda-crash -g -y
用于调试SGLang分布式推理中因状态分歧导致的挂起、死锁或超时问题。提供通过py-spy、NCCL日志和CUDA coredump定位故障点，以及二分法排查的方法论。
多GPU SGLang运行挂起或冻结
集体操作期间出现超时
需要定位分布式推理中的死锁位置
npx skills add sgl-project/sglang --skill debug-distributed-hang -g -y
规范 SGLang 环境变量管理，定义在 Envs 类中注册、类型选择及弃用处理流程。用于新增、重命名或审查 SGLANG_* 变量时确保统一性和可维护性。
新增或重命名 SGLANG_* 环境变量
审查 environ.py 中的环境变量定义
迁移废弃的 SGL_* 别名
npx skills add sgl-project/sglang --skill env-var-conventions -g -y
自动化启动SGLang服务器，执行健康检查与精度验证，生成Chrome兼容的端到端性能分析追踪文件并返回路径。
需要分析SGLang服务端性能
获取模型推理过程的CPU/GPU耗时详情
npx skills add sgl-project/sglang --skill generate-profile -g -y
规范 SGLang 内核代码的组织结构，定义 API 放置、分组逻辑、注册方式及测试目录标准，确保内核模块的清晰性与可维护性。
添加新的内核 API
移动或拆分内核文件
审查内核代码结构
npx skills add sgl-project/sglang --skill kernel-organization -g -y
用于编写、校准和调试sglang的KL一致性测试，通过对比prefill与decode路径的logprob差异，验证算子批不变性和状态一致性，辅助定位缓存恢复或内核实现导致的数值发散问题。
添加新的KL一致性测试用例
确定或辩护kl_div阈值
调查过高的KL值以定位故障
npx skills add sgl-project/sglang --skill kl-consistency-test -g -y
规范SGLang中Scheduler、TokenizerManager和ModelRunner三大核心类的代码风格，强调‘冻结代码’原则，要求仅保留对象构造、依赖注入、委托调用及协调逻辑，禁止包含领域计算或转换逻辑，以防止类膨胀并提升可测试性。
修改 Scheduler, TokenizerManager 或 ModelRunner 类
审查上述三个类的代码变更
npx skills add sgl-project/sglang --skill large-class-style -g -y
统一 LLM 性能分析技能，支持 sglang、vLLM、TensorRT-LLM 和 TokenSpeed。通过 triage 工作流分析 trace.json 或驱动实时 profiling，输出内核、重叠机会及融合模式三表报告，辅助性能调优。
需要分析现有 LLM 推理框架的性能追踪文件
需要对运行中的 LLM 服务器进行实时性能剖析
npx skills add sgl-project/sglang --skill llm-torch-profiler-analysis -g -y
用于将机械重构（如文件拆分、函数移动、模块提取）转化为机器可验证的过程。通过生成重现实验证明提交仅为纯位置变更，支持拆分、构造证明和验证命令，确保重构准确性并排除非机械变更。
执行或审查代码重构任务
验证文件拆分或函数移动的字节级一致性
检查提交是否包含非机械性质的修改
npx skills add sgl-project/sglang --skill mechanical-refactor-verify -g -y
SGLang脚本化运行时测试指南，规范何时添加API及引擎驱动行为。明确控制原语、Hook支持及多结构派生的添加条件，禁止暴露实现细节或同步调用私有方法，确保测试通过真实路径验证结果而非探针状态。
编写SGLang脚本化运行时相关测试
决定是否为运行时添加新的测试API
调试与调度器循环相关的测试时序问题
npx skills add sgl-project/sglang --skill scripted-runtime-notes -g -y
分析SGLang CI持续失败测试，通过提取失败签名、二分法定位回归提交、检查硬件特异性及远程复现，定位CI回归根因。
CI测试在main分支持续失败
需要定位引入回归的PR
怀疑是Runner或GPU特定问题
需要在远程服务器复现CI失败
npx skills add sgl-project/sglang --skill sglang-bisect-ci-regression -g -y
