Agent Skills
› sgl-project/sglang
sgl-project/sglang
GitHub提供在SGLang中添加轻量级JIT CUDA内核的分步教程，涵盖实现、命名空间规范及JIT与AOT的选择策略。
Install All Skills
npx skills add sgl-project/sglang --all -g -y
Skills in Collection (53)
Showing top 50 of 53 by quality score. Use the install list command or open individual skills for the rest.
提供在SGLang中添加轻量级JIT CUDA内核的分步教程，涵盖实现、命名空间规范及JIT与AOT的选择策略。
需要添加新的CUDA内核
询问JIT与AOT内核的区别
参考SGLang内核开发规范
npx skills add sgl-project/sglang --skill add-jit-kernel -g -y
提供向sgl-kernel添加重型AOT CUDA/C++内核的分步教程，涵盖实现、注册、构建及测试基准。
需要为sgl-kernel开发新的CUDA或C++内核
需要将新算子集成到AOT编译流程中
npx skills add sgl-project/sglang --skill add-sgl-kernel -g -y
监控并修复指定 PR 的 GitHub Actions CI 流程，自动诊断失败原因。仅对清洁的小改动（100行内）进行提交，对基础设施问题重试最多10次，持续推动所选工作流通过。
用户要求监控或修复 PR 的 CI 状态
需要重试失败的 GitHub Actions 工作流
请求 babysit PR 直到 lint 或测试通过
npx skills add sgl-project/sglang --skill babysit-pr-to-pass-ci -g -y
审计现有测试树和CI配置，基于模式目录发现冗余、错误放置或低效的测试及流程，提供具体优化建议以缩短CI时间或成本。
审计测试或CI配置
优化CI性能或降低成本
查找冗余或错位测试
审查CI变更是否符合规范
npx skills add sgl-project/sglang --skill ci-test-audit -g -y
指导 SGLang CI 工作流编排，涵盖阶段排序、失败快速终止、门禁控制、任务分区及执行模式。用于修改 CI 流程、添加阶段、调试流水线故障或理解测试分发机制。
修改 CI 工作流配置
添加新的 CI 阶段
调试 CI 流水线故障
理解测试分发与门禁逻辑
npx skills add sgl-project/sglang --skill ci-workflow-guide -g -y
审计SGLang启动日志，保存证据并生成报告，提出清理建议供用户审查。自动运行多模型和TP配置，捕获日志并分析警告、重复输出等问题，优化启动噪音。
需要检查SGLang服务启动时的日志噪音
排查启动过程中的警告或重复信息
优化不同模型配置的启动表现
npx skills add sgl-project/sglang --skill clean-startup-log -g -y
计算混合注意力模型的双内存池最优分配比例，解决并发受限或资源瓶颈问题。
询问 --mamba-full-memory-ratio 设置值
分析并发量为何被限制
规划状态池与 KV 池大小
npx skills add sgl-project/sglang --skill compute-mamba-ratio -g -y
用于向SGLang Cookbook添加新模型的自动化技能。通过实例化配置驱动的模板，生成模型专属的JSX配置、基准测试文件及MDX文档页面，并更新导航与主页卡片，实现多阶段交互式内容创建。
用户请求添加新的AI模型到Cookbook
需要为特定模型生成标准化的部署和Playground配置文档
npx skills add sgl-project/sglang --skill cookbook-add-model -g -y
将遗留版 SGLang Cookbook 页面迁移至配置驱动模板，忠实转录数据而非改进。适用于模型页面转换或移植任务，不用于新增模型。
需要迁移或转换现有的 Cookbook 页面
将遗留模板格式转换为新的配置驱动格式
npx skills add sgl-project/sglang --skill cookbook-migrate-model -g -y
针对SGLang Cookbook的PR进行自动化审查，基于配置驱动架构检查文件规范、代码质量及数据一致性，确保符合Mintlify渲染要求。
用户请求审查Pull Request
涉及Cookbook文档或模型配置的变更
npx skills add sgl-project/sglang --skill cookbook-review-pr -g -y
用于在SGLang中调试CUDA崩溃，通过内核API日志捕获崩溃前的输入张量、形状和数据类型，以定位非法内存访问或数值异常等问题。
CUDA程序崩溃且无法获取正常调试输出
需要分析触发崩溃的内核输入数据
npx skills add sgl-project/sglang --skill debug-cuda-crash -g -y
用于调试 SGLang 分布式推理中的挂起问题，涵盖通过 py-spy、NCCL 日志和 CUDA Coredump 定位死锁，以及二分法排查状态分歧的修复方法。
SGLang 多 GPU 推理挂起或冻结
集体通信操作超时
需要定位分布式环境下的状态分歧点
npx skills add sgl-project/sglang --skill debug-distributed-hang -g -y
定义SGLang环境变量的命名、定义、访问及废弃规范，要求统一在Envs类中注册，禁止直接使用os.getenv，确保变量生命周期管理和测试可覆盖性。
添加新的SGLANG_环境变量
重命名或迁移遗留的SGL_环境变量
审查环境变量相关代码
npx skills add sgl-project/sglang --skill env-var-conventions -g -y
用于启动SGLang服务器，验证模型准确性后生成端到端性能分析追踪文件，并返回路径。适用于LLM服务性能分析与优化场景。
需要分析SGLang服务器性能
生成Chrome兼容的性能追踪文件
进行推理服务基准测试
npx skills add sgl-project/sglang --skill generate-profile -g -y
规范 SGLang 内核代码的组织结构，涵盖 API 添加、迁移、拆分及审查时的目录归属、模块注册与测试放置规则，确保逻辑分组清晰。
新增或移动内核 API
拆分内核实现文件
审查内核代码结构
npx skills add sgl-project/sglang --skill kernel-organization -g -y
用于编写、校准和调试 sglang 中预填充与解码的 KL 一致性测试，通过分离算子批不变性和路径函数一致性两个条件，定位缓存恢复或数值计算错误。
添加模型 KL 测试
选择或辩护 kl_div 阈值
调查过高的 KL 数值
npx skills add sgl-project/sglang --skill kl-consistency-test -g -y
规范SGLang中Scheduler、TokenizerManager和ModelRunner三大核心类的代码风格，强调冻结代码原则与初始化编排模式，确保职责分离与可测试性。
修改 Scheduler 类代码
修改 TokenizerManager 类代码
修改 ModelRunner 类代码
审查上述三个类的变更
npx skills add sgl-project/sglang --skill large-class-style -g -y
统一分析sglang、vllm等LLM框架的torch-profiler性能数据，支持现有trace或实时采集，输出kernel、重叠机会及融合模式三表报告。
需要分析LLM推理性能瓶颈时
检查GPU内核执行与算子重叠情况时
对比不同框架（如sglang/vllm）的性能特征时
npx skills add sgl-project/sglang --skill llm-torch-profiler-analysis -g -y
用于将机械重构（文件拆分、函数移动等）转化为机器可验证流程。通过生成字节级复现证明并比对，确保变更纯粹为位置移动，辅助代码审查与重构质量保障。
执行或审查机械式代码重构
验证重构提交是否为纯位移无其他变更
npx skills add sgl-project/sglang --skill mechanical-refactor-verify -g -y
确保 Rust 处理器与 Python SGLang 路径的聊天提示渲染和分词完全一致。用于新增模型支持、移植渲染逻辑或调试提示不匹配问题，涵盖从请求到 Token ID 的完整路径验证。
添加新模型到 sglang-processor
将模型的渲染逻辑从 sgl-router 移植
调试处理器与 Python 端的提示不匹配问题
npx skills add sgl-project/sglang --skill processor-model-parity -g -y
提供 SGLang 脚本化运行时（scripted runtime）的测试规范，明确何时添加 API、控制原语使用及避免探测实现细节，确保测试驱动引擎真实循环。
询问 SGLang 测试中是否应封装 API
处理 SGLang 脚本化运行时相关测试逻辑
npx skills add sgl-project/sglang --skill scripted-runtime-notes -g -y
分析SGLang CI持续失败测试，提取失败特征，通过二分法定位引入回归的提交，检查硬件或环境特异性，并支持在远程GPU主机复现问题。
CI测试在主分支上持续失败
需要定位导致回归的具体PR
怀疑是运行器或GPU特定的环境问题
需要在远程服务器复现CI失败
npx skills add sgl-project/sglang --skill sglang-bisect-ci-regression -g -y
用于 SGLang 发布管理，将多个已合并的 PR 批量 Cherry-Pick 到指定发布分支。通过触发 CI 工作流并监控执行结果，提供成功或失败报告，支持参数校验与本地冲突预检。
需要批量将已合并的 PR 迁移到发布分支时
收到发布经理的 Cherry-Pick 请求时
npx skills add sgl-project/sglang --skill sglang-cherrypick -g -y
用于SGLang服务故障排查，通过收集基线、保存失败请求及回放复现问题，将线上异常转化为可调试路径，并输出诊断结论与下一步建议。
服务器健康检查失败或延迟/吞吐下降
请求超时、挂起或服务崩溃
部署后输出错误或性能回退
npx skills add sgl-project/sglang --skill sglang-prod-incident-triage -g -y
解析 SGLang 运行时上下文架构，涵盖配置层级、发布机制及状态管理。指导开发者如何安全访问和修改服务器参数、模型覆盖及转发状态，确保符合设计约束。
涉及 SGLang 运行时配置修改
处理进程级全局状态
开发或测试 ServerArgs 相关逻辑
npx skills add sgl-project/sglang --skill sglang-runtime-context -g -y
规范 SGLang 投机解码代码标识符命名，涵盖动词形式、奖励令牌及计数后缀规则。
添加或重命名投机解码相关标识符
审查 python/sglang/srt/speculative/ 下的代码
npx skills add sgl-project/sglang --skill speculative-naming -g -y
指导编写 SGLang CI/UT 测试的规范，涵盖 CustomTestCase 使用、CI 注册、服务器夹具、模型选择及 Mock 策略，确保测试正确性与资源释放。
创建新的测试用例
添加 CI 测试案例
编写单元测试
为 SGLang 功能添加测试
npx skills add sgl-project/sglang --skill write-sglang-test -g -y
提供在SGLang中添加轻量级JIT CUDA内核的分步教程，涵盖目标定义、JIT与AOT选择策略及代码规范。
需要添加新的CUDA计算内核
了解JIT与AOT编译模式的区别
npx skills add sgl-project/sglang --skill add-jit-kernel -g -y
提供向 sgl-kernel 添加 AOT CUDA/C++ 内核的分步教程，涵盖实现、注册、构建、测试及基准脚本，指导开发者完成重型算子的集成工作。
需要添加新的 CUDA 或 C++ 算子
执行 sgl-kernel 内核开发流程
配置 AOT 编译与 PyTorch 扩展
npx skills add sgl-project/sglang --skill add-sgl-kernel -g -y
持续监控并修复指定 GitHub PR 的 CI 工作流失败，自动执行小范围代码修正或重试，直至选定流程通过。
用户要求监视或修复 PR 的 CI 状态
需要自动重试失败的 GitHub Actions 工作流
请求确保 PR 合并前特定 lint 或测试流程通过
npx skills add sgl-project/sglang --skill babysit-pr-to-pass-ci -g -y
审计现有测试树和 CI 配置，利用模式目录优化测试结构、缩短 CI 时间或降低成本。适用于审查测试、CI 变更合规性及清理冗余测试等场景。
审查测试或 CI 配置
缩减 CI 时间和成本
查找或清理冗余/ misplaced 测试
检查 CI 变更是否符合既定实践
npx skills add sgl-project/sglang --skill ci-test-audit -g -y
SGLang CI工作流编排指南，涵盖阶段排序、快速失败、门控机制及故障调试。用于修改CI流程、添加阶段或排查流水线问题。
修改CI工作流配置
添加新的CI阶段
调试CI流水线失败
理解测试分发与门控逻辑
npx skills add sgl-project/sglang --skill ci-workflow-guide -g -y
审计SGLang启动日志，自动运行多模型配置并捕获输出，分析去重、警告等噪音，生成清理建议供用户审核。
需要审计SGLang服务启动日志
检查LLM推理引擎启动噪音与异常
npx skills add sgl-project/sglang --skill clean-startup-log -g -y
计算混合注意力模型的最优显存分配比例，平衡状态池与KV池，避免瓶颈。
询问 --mamba-full-memory-ratio 设置值
分析并发限制原因
配置混合模型服务内存
npx skills add sgl-project/sglang --skill compute-mamba-ratio -g -y
用于向 SGLang Cookbook 添加新模型，通过实例化配置模板生成 JSX 配置文件、基准测试和 MDX 文档页面，并更新导航与主页卡片。
需要为新 AI 模型创建官方文档页面
将新模型集成到基于配置的文档系统中
npx skills add sgl-project/sglang --skill cookbook-add-model -g -y
将旧版 Cookbook 模型页面迁移至配置驱动模板，严格忠实于源数据。用于转换现有页面，不用于新建模型。
用户请求迁移或转换现有的 Cookbook 模型页面
执行 /cookbook-migrate-model 命令并指定模型页名
npx skills add sgl-project/sglang --skill cookbook-migrate-model -g -y
用于审查 SGLang Cookbook PR，验证文件规范、配置质量及引擎隔离，确保符合 Mintlify 渲染要求。
审查 Pull Request
文档合规性检查
npx skills add sgl-project/sglang --skill cookbook-review-pr -g -y
提供在SGLang中调试CUDA崩溃的方法，通过@debug_kernel_api装饰器记录内核API调用前后的输入张量信息，帮助定位非法内存访问、越界或数值异常等问题。
遇到CUDA崩溃错误
需要捕获崩溃前的张量数据
排查GPU计算中的数值异常
npx skills add sgl-project/sglang --skill debug-cuda-crash -g -y
用于调试SGLang分布式推理中因状态分歧导致的挂起、死锁或超时问题。提供通过py-spy、NCCL日志和CUDA coredump定位故障点，以及二分法排查的方法论。
多GPU SGLang运行挂起或冻结
集体操作期间出现超时
需要定位分布式推理中的死锁位置
npx skills add sgl-project/sglang --skill debug-distributed-hang -g -y
规范 SGLang 环境变量管理，定义在 Envs 类中注册、类型选择及弃用处理流程。用于新增、重命名或审查 SGLANG_* 变量时确保统一性和可维护性。
新增或重命名 SGLANG_* 环境变量
审查 environ.py 中的环境变量定义
迁移废弃的 SGL_* 别名
npx skills add sgl-project/sglang --skill env-var-conventions -g -y
自动化启动SGLang服务器，执行健康检查与精度验证，生成Chrome兼容的端到端性能分析追踪文件并返回路径。
需要分析SGLang服务端性能
获取模型推理过程的CPU/GPU耗时详情
npx skills add sgl-project/sglang --skill generate-profile -g -y
规范 SGLang 内核代码的组织结构，定义 API 放置、分组逻辑、注册方式及测试目录标准，确保内核模块的清晰性与可维护性。
添加新的内核 API
移动或拆分内核文件
审查内核代码结构
npx skills add sgl-project/sglang --skill kernel-organization -g -y
用于编写、校准和调试sglang的KL一致性测试，通过对比prefill与decode路径的logprob差异，验证算子批不变性和状态一致性，辅助定位缓存恢复或内核实现导致的数值发散问题。
添加新的KL一致性测试用例
确定或辩护kl_div阈值
调查过高的KL值以定位故障
npx skills add sgl-project/sglang --skill kl-consistency-test -g -y
规范SGLang中Scheduler、TokenizerManager和ModelRunner三大核心类的代码风格，强调‘冻结代码’原则，要求仅保留对象构造、依赖注入、委托调用及协调逻辑，禁止包含领域计算或转换逻辑，以防止类膨胀并提升可测试性。
修改 Scheduler, TokenizerManager 或 ModelRunner 类
审查上述三个类的代码变更
npx skills add sgl-project/sglang --skill large-class-style -g -y
统一 LLM 性能分析技能，支持 sglang、vLLM、TensorRT-LLM 和 TokenSpeed。通过 triage 工作流分析 trace.json 或驱动实时 profiling，输出内核、重叠机会及融合模式三表报告，辅助性能调优。
需要分析现有 LLM 推理框架的性能追踪文件
需要对运行中的 LLM 服务器进行实时性能剖析
npx skills add sgl-project/sglang --skill llm-torch-profiler-analysis -g -y
用于将机械重构（如文件拆分、函数移动、模块提取）转化为机器可验证的过程。通过生成重现实验证明提交仅为纯位置变更，支持拆分、构造证明和验证命令，确保重构准确性并排除非机械变更。
执行或审查代码重构任务
验证文件拆分或函数移动的字节级一致性
检查提交是否包含非机械性质的修改
npx skills add sgl-project/sglang --skill mechanical-refactor-verify -g -y
SGLang脚本化运行时测试指南，规范何时添加API及引擎驱动行为。明确控制原语、Hook支持及多结构派生的添加条件，禁止暴露实现细节或同步调用私有方法，确保测试通过真实路径验证结果而非探针状态。
编写SGLang脚本化运行时相关测试
决定是否为运行时添加新的测试API
调试与调度器循环相关的测试时序问题
npx skills add sgl-project/sglang --skill scripted-runtime-notes -g -y
分析SGLang CI持续失败测试，通过提取失败签名、二分法定位回归提交、检查硬件特异性及远程复现，定位CI回归根因。
CI测试在main分支持续失败
需要定位引入回归的PR
怀疑是Runner或GPU特定问题
需要在远程服务器复现CI失败
npx skills add sgl-project/sglang --skill sglang-bisect-ci-regression -g -y
用于 SGLang 发布管理，批量触发 GitHub Actions 将已合并的 PR Cherry-Pick 到指定发布分支。包含参数校验、本地冲突预检及 CI 运行监控，并报告每个 PR 的成功或失败详情。
需要执行多个 PR 的 Cherry-Pick 操作
SGLang 发布经理请求将特定 PR 合并至发布分支
npx skills add sgl-project/sglang --skill sglang-cherrypick -g -y
SGLang服务故障排查技能，通过收集基线数据、保存失败请求并回放，定位延迟、崩溃或分布式挂起等问题，输出诊断结论与下一步建议。
服务器健康检查失败
延迟或吞吐量回归
队列增长或超时
分布式挂起或崩溃
npx skills add sgl-project/sglang --skill sglang-prod-incident-triage -g -y
