Agent Skills
› pegainfer-project/pegainfer
pegainfer-project/pegainfer
GitHub用于对 vLLM 或 OpenAI 兼容端点进行基准测试,支持多轮对话负载测试,测量 TTFT、吞吐量等指标。
Install All Skills
npx skills add pegainfer-project/pegainfer --all -g -y
Skills in Collection (6)
用于对 vLLM 或 OpenAI 兼容端点进行基准测试,支持多轮对话负载测试,测量 TTFT、吞吐量等指标。
vllm bench
多轮压测
chat serving benchmark
TTFT/TPOT measurement
npx skills add pegainfer-project/pegainfer --skill vllm-bench -g -y
vllm-bench 是用于基准测试 OpenAI 兼容或 vLLM 服务端的 Rust 工具,支持多轮对话、并发压测及 TTFT/TPOT/吞吐量等指标测量。
vllm bench
multi-turn benchmark
chat serving benchmark
TTFT/TPOT measurement
load test
压测
多轮压测
npx skills add pegainfer-project/pegainfer --skill vllm-bench -g -y
指导使用NVIDIA Nsight Systems对Rust+CUDA推理引擎进行GPU性能分析,涵盖环境检查、Trace捕获及耗时诊断。
GPU profiling
nsys
profile
kernel breakdown
npx skills add pegainfer-project/pegainfer --skill nsys-profiling -g -y
用于规范非 trivial 任务的完整生命周期管理。要求先阅读文档,制定计划并经审批后执行,最后记录经验教训。适用于涉及具体操作的任务,防止重复犯错并沉淀知识。
用户下达涉及代码编写、调试、部署等具体操作的指令
需要执行复杂任务且希望遵循标准化流程时
npx skills add pegainfer-project/pegainfer --skill project-doc -g -y
指导使用NVIDIA Nsight Systems对Rust+CUDA推理引擎进行GPU性能分析,涵盖环境检查、Trace捕获及性能瓶颈诊断。
GPU性能分析
nsys Trace捕获
内核耗时分析
性能回归排查
npx skills add pegainfer-project/pegainfer --skill nsys-profiling -g -y
指导开发者使用 NVIDIA Nsight Systems 对 Rust+CUDA 推理引擎进行 GPU 性能分析,涵盖环境检查、Trace 捕获及性能瓶颈诊断。
GPU 性能分析
nsys 追踪捕获
内核耗时诊断
性能回归排查
npx skills add pegainfer-project/pegainfer --skill nsys-profiling -g -y


