Agent Skills
› vllm-project/llm-compressor
vllm-project/llm-compressor
GitHub用于创建和管理小型模型以进行测试和开发，涵盖配置检查、张量分析、微调及验证流程。
Install All Skills
npx skills add vllm-project/llm-compressor --all -g -y
Skills in Collection (3)
用于创建和管理小型模型以进行测试和开发，涵盖配置检查、张量分析、微调及验证流程。
需要创建小型模型进行测试
需要调试或微调模型
npx skills add vllm-project/llm-compressor --skill create-tiny-model -g -y
生成FP8量化示例脚本并保存压缩张量检查点。根据模型类型和硬件选择FP8_BLOCK、FP8_DYNAMIC或MXFP8方案，应用相应模板和调整策略。
fp8
FP8_DYNAMIC
FP8_BLOCK
MXFP8
fp8 example
quantize to fp8
npx skills add vllm-project/llm-compressor --skill fp8 -g -y
生成NVFP4量化示例脚本，支持W4A4压缩检查点保存。需使用校准数据及oneshot模板，处理MoE等模型调整，并运行代码格式化。
nvfp4
NVFP4
fp4
nvfp4 example
quantize to nvfp4
w4a4
npx skills add vllm-project/llm-compressor --skill nvfp4 -g -y
