Agent Skills
› vllm-project/llm-compressor
vllm-project/llm-compressor
GitHub创建和管理用于测试与开发的小型模型，涵盖配置检查、结构保存、微调及验证流程。
Install All Skills
npx skills add vllm-project/llm-compressor --all -g -y
Skills in Collection (3)
创建和管理用于测试与开发的小型模型，涵盖配置检查、结构保存、微调及验证流程。
需要为特定模型构建小型版本进行测试
实验或开发阶段需快速验证模型架构
npx skills add vllm-project/llm-compressor --skill create-tiny-model -g -y
根据用户指定的FP8量化方案（如FP8_BLOCK、FP8_DYNAMIC或MXFP8）及模型类型，生成Python量化示例脚本并保存压缩张量检查点。
fp8
FP8_DYNAMIC
FP8_BLOCK
MXFP8
fp8 example
quantize to fp8
npx skills add vllm-project/llm-compressor --skill fp8 -g -y
生成NVFP4量化示例脚本并保存压缩检查点。引导用户配置GPTQ算法、校准数据集及参数，自动估算模型大小以优化显存使用，最终输出可运行的Python代码。
nvfp4
NVFP4
fp4
nvfp4 example
quantize to nvfp4
w4a4
npx skills add vllm-project/llm-compressor --skill nvfp4 -g -y
