Agent Skills
› sgl-project/sglang
sgl-project/sglang
GitHub提供向SGLang添加轻量级JIT CUDA内核的分步教程，涵盖命名空间、类型支持及JIT与AOT的选择策略。
Install All Skills
npx skills add sgl-project/sglang --all -g -y
Skills in Collection (55)
Showing top 50 of 55 by quality score. Use the install list command or open individual skills for the rest.
提供向SGLang添加轻量级JIT CUDA内核的分步教程，涵盖命名空间、类型支持及JIT与AOT的选择策略。
需要添加新的CUDA计算内核
了解SGLang JIT基础设施的使用规范
npx skills add sgl-project/sglang --skill add-jit-kernel -g -y
提供在sgl-kernel中添加AOT CUDA/C++内核的分步教程，涵盖C++实现、Torch扩展注册、构建配置、测试及基准脚本的完整工作流。
需要添加新的CUDA内核到sgl-kernel
遵循AOT重型内核的开发规范
npx skills add sgl-project/sglang --skill add-sgl-kernel -g -y
持续监控指定PR的CI工作流，自动诊断并修复轻微问题，重试不稳定任务，直至所选工作流全部通过。
需要监控PR CI状态
要求修复PR构建失败
请求重试CI任务
npx skills add sgl-project/sglang --skill babysit-pr-to-pass-ci -g -y
审计现有测试树和CI配置，利用模式目录识别冗余或 misplaced 测试，优化CI时间与成本。提供具体改进建议，如删除重复测试、调整层级，而非直接修改代码。
审查测试或CI配置
缩短CI时间或降低成本
查找冗余或位置不当的测试
清理测试组
检查CI变更是否符合既定规范
npx skills add sgl-project/sglang --skill ci-test-audit -g -y
SGLang CI工作流编排指南，涵盖分层策略、阶段排序、故障快速失败、门控机制及执行模式。用于修改CI流程、添加测试阶段或运行器、调试流水线问题及理解测试分发逻辑。
修改CI工作流配置
调试CI流水线故障
添加新的测试阶段或运行器
理解测试分发与门控机制
npx skills add sgl-project/sglang --skill ci-workflow-guide -g -y
自动审计SGLang服务启动日志，保存证据并生成清理建议供用户审查。默认运行多模型配置以覆盖不同并行模式，捕获日志后分析弃用警告、重复输出等噪音，辅助优化日志清晰度。
需要审计SGLang启动日志
发现启动日志存在噪音或警告
希望优化LLM服务启动时的日志输出
npx skills add sgl-project/sglang --skill clean-startup-log -g -y
计算混合注意力模型（Mamba/GDN/KDA）的内存池分配比例，平衡状态与KV缓存。根据上下文长度、并发策略及硬件参数，自动推导最优 --mamba-full-memory-ratio，避免资源瓶颈。
询问如何设置 --mamba-full-memory-ratio
分析并发受限原因
配置混合模型的服务内存池大小
npx skills add sgl-project/sglang --skill compute-mamba-ratio -g -y
用于向 SGLang Cookbook 添加新模型，通过实例化配置模板生成 JSX 配置、基准测试及 MDX 页面，并更新导航与主页卡片。
需要为 SGLang 文档添加新模型介绍
用户请求 /cookbook-add-model 命令
npx skills add sgl-project/sglang --skill cookbook-add-model -g -y
将旧版 Cookbook 模型页面迁移至配置驱动模板，严格忠实于源数据。用于转换或移植现有页面，而非新增模型。
用户要求迁移、转换或移植现有的 Cookbook 页面
执行 /cookbook-migrate-model 命令
npx skills add sgl-project/sglang --skill cookbook-migrate-model -g -y
用于审查 SGLang Cookbook PR，验证配置文件、MDX 页面及静态资源是否符合规范。通过检查文件类型、引擎代码隔离及配置结构，确保文档贡献质量。
用户请求审查特定 PR
提交包含 cookbook 内容的 Pull Request
npx skills add sgl-project/sglang --skill cookbook-review-pr -g -y
提供SGLang中CUDA崩溃的调试方法，通过@debug_kernel_api装饰器在程序崩溃前捕获输入张量、形状及数值信息，辅助定位非法内存访问或NaN等问题。
CUDA运行时崩溃
需要分析GPU内核执行前的输入数据
排查张量形状或数据类型错误
npx skills add sgl-project/sglang --skill debug-cuda-crash -g -y
针对SGLang分布式推理挂起问题的调试指南，涵盖通过py-spy、NCCL日志和CUDA coredump定位死锁，使用二分法查找状态分歧点并提供修复方案。
多GPU SGLang运行挂起或冻结
集体操作超时
需要定位分布式推理中的死锁位置
npx skills add sgl-project/sglang --skill debug-distributed-hang -g -y
规范SGLang环境变量定义、访问及命名约定。指导在environ.py中注册变量，选择类型描述符，处理废弃别名，确保配置集中管理。
添加新的SGLANG_*环境变量
重命名或迁移遗留的SGL_*别名
审查或修改python/sglang/srt/environ.py文件
npx skills add sgl-project/sglang --skill env-var-conventions -g -y
自动化启动SGLang服务端，执行健康检查与精度验证，捕获Chrome兼容格式的E2E性能分析轨迹文件，并返回路径。
需要分析SGLang服务性能时
生成端到端性能追踪报告时
npx skills add sgl-project/sglang --skill generate-profile -g -y
规范 SGLang 内核的组织结构，定义按计算类型分组的命名空间规则，处理插件集成与迁移。
添加新内核 API
移动或拆分内核代码
审查内核注册元数据
npx skills add sgl-project/sglang --skill kernel-organization -g -y
用于编写、校准和调试 SGLang 中预填充与解码的 KL 一致性测试，验证算子批不变性及路径函数一致性，定位缓存或算子发散问题。
添加模型 KL 测试
选择或辩护 kl_div 阈值
调查过高的 KL 数值
npx skills add sgl-project/sglang --skill kl-consistency-test -g -y
定义SGLang核心大类的代码风格，强制Scheduler、TokenizerManager和ModelRunner保持纯编排逻辑，禁止内联领域逻辑，防止演变为上帝类。
修改 Scheduler、TokenizerManager 或 ModelRunner 文件
审查涉及上述三个类的代码变更
npx skills add sgl-project/sglang --skill large-class-style -g -y
统一LLM框架性能分析技能，支持sglang、vllm等。通过triage工作流解析trace文件或驱动实时采集，输出kernel、重叠机会和融合模式三表报告，辅助GPU性能调优。
需要分析LLM推理性能瓶颈
查看或生成torch-profiler分析报告
npx skills add sgl-project/sglang --skill llm-torch-profiler-analysis -g -y
提供机械重构（文件拆分、函数移动等）的机器可验证方案，通过生成和校验重现实例确保变更纯为位置调整，防止非重构代码混入。
执行或审查机械重构任务
验证重构提交的字节级一致性
将复杂变更拆分为可验证的准备、移动和后处理步骤
npx skills add sgl-project/sglang --skill mechanical-refactor-verify -g -y
确保 Rust 处理器与 Python 服务端在聊天提示渲染和分词上完全一致。用于添加新模型、移植渲染逻辑或调试 Prompt 不匹配问题，保障请求处理路径的正确性。
添加新模型到 sglang-processor
将模型的渲染逻辑从 sgl-router 移植
调试处理器与 Python 端的 Prompt 不匹配
npx skills add sgl-project/sglang --skill processor-model-parity -g -y
用于在PR评论中触发特定测试文件运行，覆盖基础CI未涵盖的额外、夜间或每周层级测试。通过指定变更文件或模块，确保相关代码得到充分验证，提升测试覆盖率与发布质量。
PR修改了需额外/夜间/每周运行的测试代码
需要手动触发特定测试以验证变更
合并前确认相关测试已通过
npx skills add sgl-project/sglang --skill rerun-test -g -y
SGLang脚本化运行时测试指南，规定何时添加API、如何驱动引擎循环及断言原则，避免直接访问内部状态或破坏封装。
询问SGLang脚本化运行时测试规范
需要编写或审查与Scripted Runtime相关的测试代码
确定在harness中是否应添加新的API
npx skills add sgl-project/sglang --skill scripted-runtime-notes -g -y
用于排查 SGLang CI 持续失败的回归问题，通过提取失败签名、二分法定位引入回归的提交，并支持在远程 GPU 主机复现故障，以区分代码回归或硬件环境问题。
CI 测试在主分支持续失败
需要定位引入回归的具体 PR
怀疑是运行器或 GPU 特定的问题
npx skills add sgl-project/sglang --skill sglang-bisect-ci-regression -g -y
用于 SGLang 发布流程，通过 Slash 命令批量触发 PR 的 Cherry-Pick 工作流。包含参数校验、本地冲突预检及运行状态监控，旨在自动化将已合并的 PR 移植到指定发布分支。
用户请求将多个已合并的 PR 移植到特定发布分支
执行 /sglang-cherrypick 命令以批量处理 Release 更新
npx skills add sgl-project/sglang --skill sglang-cherrypick -g -y
用于调查 SGLang CUDA 图生命周期与回放正确性，支持新执行、只读归档检查及重新计算。针对多图共享缓冲区等特定场景，提供详细的执行前检查、资源确认及结果报告流程。
需要验证 SGLang CUDA 图的生命周期管理
检查多图或变体共享缓冲区时的回放正确性
审查已归档的图检查运行记录
npx skills add sgl-project/sglang --skill sglang-multi-graph-check -g -y
针对SGLang服务故障的调试技能，通过收集基线、保存失败请求并回放来定位问题。适用于健康检查失败、延迟回归、超时或崩溃等场景，旨在将现场问题转化为可复现的调试路径。
服务器健康检查失败
延迟或吞吐量显著下降
请求队列异常增长
服务超时或分布式挂起
部署后输出异常或崩溃
npx skills add sgl-project/sglang --skill sglang-prod-incident-triage -g -y
解析SGLang运行时上下文架构，涵盖进程单例、配置层级（原始种子、解析配置、运行时标志等）及资源管理。指导开发者正确访问和修改服务器参数、模型覆盖及转发状态，确保符合设计范式与测试规范。
需要了解SGLang运行时配置结构
处理server_args或模型覆盖逻辑
开发或调试涉及全局状态的操作
npx skills add sgl-project/sglang --skill sglang-runtime-context -g -y
定义 SGLang 投机解码代码的标识符命名规范，涵盖动词形式、bonus token 术语及计数前缀规则。
添加或重命名投机解码相关标识符
审查 speculative decoding 代码中的命名
npx skills add sgl-project/sglang --skill speculative-naming -g -y
指导编写 SGLang CI/UT 测试，涵盖用例注册、资源清理规范、测试分层及 Mock 策略。用于创建新测试或调整 CI 配置。
创建新的单元测试或集成测试
将测试添加到 CI 流水线
询问如何为 SGLang 功能添加测试
npx skills add sgl-project/sglang --skill write-sglang-test -g -y
提供在SGLang中添加轻量级JIT CUDA内核的分步教程，涵盖目标定义、JIT与AOT选择策略及代码规范。
需要添加新的CUDA计算内核
了解JIT与AOT编译模式的区别
npx skills add sgl-project/sglang --skill add-jit-kernel -g -y
提供向 sgl-kernel 添加 AOT CUDA/C++ 内核的分步教程，涵盖实现、注册、构建、测试及基准脚本，指导开发者完成重型算子的集成工作。
需要添加新的 CUDA 或 C++ 算子
执行 sgl-kernel 内核开发流程
配置 AOT 编译与 PyTorch 扩展
npx skills add sgl-project/sglang --skill add-sgl-kernel -g -y
持续监控并修复指定 GitHub PR 的 CI 工作流失败，自动执行小范围代码修正或重试，直至选定流程通过。
用户要求监视或修复 PR 的 CI 状态
需要自动重试失败的 GitHub Actions 工作流
请求确保 PR 合并前特定 lint 或测试流程通过
npx skills add sgl-project/sglang --skill babysit-pr-to-pass-ci -g -y
审计现有测试树和 CI 配置，利用模式目录优化测试结构、缩短 CI 时间或降低成本。适用于审查测试、CI 变更合规性及清理冗余测试等场景。
审查测试或 CI 配置
缩减 CI 时间和成本
查找或清理冗余/ misplaced 测试
检查 CI 变更是否符合既定实践
npx skills add sgl-project/sglang --skill ci-test-audit -g -y
SGLang CI工作流编排指南，涵盖阶段排序、快速失败、门控机制及故障调试。用于修改CI流程、添加阶段或排查流水线问题。
修改CI工作流配置
添加新的CI阶段
调试CI流水线失败
理解测试分发与门控逻辑
npx skills add sgl-project/sglang --skill ci-workflow-guide -g -y
审计SGLang启动日志，自动运行多模型配置并捕获输出，分析去重、警告等噪音，生成清理建议供用户审核。
需要审计SGLang服务启动日志
检查LLM推理引擎启动噪音与异常
npx skills add sgl-project/sglang --skill clean-startup-log -g -y
计算混合注意力模型的最优显存分配比例，平衡状态池与KV池，避免瓶颈。
询问 --mamba-full-memory-ratio 设置值
分析并发限制原因
配置混合模型服务内存
npx skills add sgl-project/sglang --skill compute-mamba-ratio -g -y
用于向 SGLang Cookbook 添加新模型，通过实例化配置模板生成 JSX 配置文件、基准测试和 MDX 文档页面，并更新导航与主页卡片。
需要为新 AI 模型创建官方文档页面
将新模型集成到基于配置的文档系统中
npx skills add sgl-project/sglang --skill cookbook-add-model -g -y
将旧版 Cookbook 模型页面迁移至配置驱动模板，严格忠实于源数据。用于转换现有页面，不用于新建模型。
用户请求迁移或转换现有的 Cookbook 模型页面
执行 /cookbook-migrate-model 命令并指定模型页名
npx skills add sgl-project/sglang --skill cookbook-migrate-model -g -y
用于审查 SGLang Cookbook PR，验证文件规范、配置质量及引擎隔离，确保符合 Mintlify 渲染要求。
审查 Pull Request
文档合规性检查
npx skills add sgl-project/sglang --skill cookbook-review-pr -g -y
提供在SGLang中调试CUDA崩溃的方法，通过@debug_kernel_api装饰器记录内核API调用前后的输入张量信息，帮助定位非法内存访问、越界或数值异常等问题。
遇到CUDA崩溃错误
需要捕获崩溃前的张量数据
排查GPU计算中的数值异常
npx skills add sgl-project/sglang --skill debug-cuda-crash -g -y
用于调试SGLang分布式推理中因状态分歧导致的挂起、死锁或超时问题。提供通过py-spy、NCCL日志和CUDA coredump定位故障点，以及二分法排查的方法论。
多GPU SGLang运行挂起或冻结
集体操作期间出现超时
需要定位分布式推理中的死锁位置
npx skills add sgl-project/sglang --skill debug-distributed-hang -g -y
规范 SGLang 环境变量管理，定义在 Envs 类中注册、类型选择及弃用处理流程。用于新增、重命名或审查 SGLANG_* 变量时确保统一性和可维护性。
新增或重命名 SGLANG_* 环境变量
审查 environ.py 中的环境变量定义
迁移废弃的 SGL_* 别名
npx skills add sgl-project/sglang --skill env-var-conventions -g -y
自动化启动SGLang服务器，执行健康检查与精度验证，生成Chrome兼容的端到端性能分析追踪文件并返回路径。
需要分析SGLang服务端性能
获取模型推理过程的CPU/GPU耗时详情
npx skills add sgl-project/sglang --skill generate-profile -g -y
规范 SGLang 内核代码的组织结构，定义 API 放置、分组逻辑、注册方式及测试目录标准，确保内核模块的清晰性与可维护性。
添加新的内核 API
移动或拆分内核文件
审查内核代码结构
npx skills add sgl-project/sglang --skill kernel-organization -g -y
用于编写、校准和调试sglang的KL一致性测试，通过对比prefill与decode路径的logprob差异，验证算子批不变性和状态一致性，辅助定位缓存恢复或内核实现导致的数值发散问题。
添加新的KL一致性测试用例
确定或辩护kl_div阈值
调查过高的KL值以定位故障
npx skills add sgl-project/sglang --skill kl-consistency-test -g -y
规范SGLang中Scheduler、TokenizerManager和ModelRunner三大核心类的代码风格，强调‘冻结代码’原则，要求仅保留对象构造、依赖注入、委托调用及协调逻辑，禁止包含领域计算或转换逻辑，以防止类膨胀并提升可测试性。
修改 Scheduler, TokenizerManager 或 ModelRunner 类
审查上述三个类的代码变更
npx skills add sgl-project/sglang --skill large-class-style -g -y
统一 LLM 性能分析技能，支持 sglang、vLLM、TensorRT-LLM 和 TokenSpeed。通过 triage 工作流分析 trace.json 或驱动实时 profiling，输出内核、重叠机会及融合模式三表报告，辅助性能调优。
需要分析现有 LLM 推理框架的性能追踪文件
需要对运行中的 LLM 服务器进行实时性能剖析
npx skills add sgl-project/sglang --skill llm-torch-profiler-analysis -g -y
用于将机械重构（如文件拆分、函数移动、模块提取）转化为机器可验证的过程。通过生成重现实验证明提交仅为纯位置变更，支持拆分、构造证明和验证命令，确保重构准确性并排除非机械变更。
执行或审查代码重构任务
验证文件拆分或函数移动的字节级一致性
检查提交是否包含非机械性质的修改
npx skills add sgl-project/sglang --skill mechanical-refactor-verify -g -y
SGLang脚本化运行时测试指南，规范何时添加API及引擎驱动行为。明确控制原语、Hook支持及多结构派生的添加条件，禁止暴露实现细节或同步调用私有方法，确保测试通过真实路径验证结果而非探针状态。
编写SGLang脚本化运行时相关测试
决定是否为运行时添加新的测试API
调试与调度器循环相关的测试时序问题
npx skills add sgl-project/sglang --skill scripted-runtime-notes -g -y
分析SGLang CI持续失败测试，通过提取失败签名、二分法定位回归提交、检查硬件特异性及远程复现，定位CI回归根因。
CI测试在main分支持续失败
需要定位引入回归的PR
怀疑是Runner或GPU特定问题
需要在远程服务器复现CI失败
npx skills add sgl-project/sglang --skill sglang-bisect-ci-regression -g -y
