Agent Skills
› vllm-project/llm-compressor
vllm-project/llm-compressor
GitHub用于创建和管理用于测试与开发的小型模型。提供检查配置、保存模型、分析张量、微调及验证的脚本，帮助快速构建和实验轻量级模型。
Install All Skills
npx skills add vllm-project/llm-compressor --all -g -y
Skills in Collection (3)
用于创建和管理用于测试与开发的小型模型。提供检查配置、保存模型、分析张量、微调及验证的脚本，帮助快速构建和实验轻量级模型。
需要创建小型模型进行测试
进行模型微调实验
检查模型配置或张量
npx skills add vllm-project/llm-compressor --skill create-tiny-model -g -y
生成FP8量化示例脚本并保存压缩张量检查点。根据模型类型和硬件选择FP8_BLOCK、FP8_DYNAMIC或MXFP8方案，利用模板编写Python代码，支持标准路径及自定义/超大模型的特殊处理。
fp8
FP8_DYNAMIC
FP8_BLOCK
MXFP8
fp8 example
quantize to fp8
npx skills add vllm-project/llm-compressor --skill fp8 -g -y
生成NVFP4量化示例脚本，支持W4A4量化及压缩检查点保存。
nvfp4
quantize to nvfp4
npx skills add vllm-project/llm-compressor --skill nvfp4 -g -y
