Agent Skills
› vllm-project/llm-compressor
vllm-project/llm-compressor
GitHub用于创建、管理和微调小型模型以进行测试和开发。支持检查配置、保存精简模型、张量分析及在玩具数据集上进行微调验证，适用于快速实验和架构测试。
安装全部 Skills
npx skills add vllm-project/llm-compressor --all -g -y
集合内 Skills (6)
用于创建、管理和微调小型模型以进行测试和开发。支持检查配置、保存精简模型、张量分析及在玩具数据集上进行微调验证，适用于快速实验和架构测试。
需要快速测试模型架构或性能
进行模型微调实验
分析模型配置和张量结构
npx skills add vllm-project/llm-compressor --skill create-tiny-model -g -y
该技能用于创建和管理用于测试与开发的小型模型。通过检查配置、缩减参数量、微调及验证，生成架构保留但规模约1B的轻量级模型，支持多模态处理与快速实验。
需要为大型模型创建小型替代品以加速测试或开发
进行模型架构实验或参数敏感性分析
快速验证新模型配置是否可正常加载和微调
npx skills add vllm-project/llm-compressor --skill create-tiny-model -g -y
生成FP8量化示例脚本并保存压缩张量检查点。支持FP8_BLOCK、FP8_DYNAMIC和MXFP8方案，适配不同硬件与模型类型，提供标准及免Transformer定义路径模板。
fp8
FP8_DYNAMIC
FP8_BLOCK
MXFP8
fp8 example
quantize to fp8
npx skills add vllm-project/llm-compressor --skill fp8 -g -y
根据用户请求生成针对 NVFP4 (W4A4) 量化方案的 Python 示例脚本，使用 oneshot_with_data 模板并保存压缩检查点。
nvfp4
NVFP4
fp4
nvfp4 example
quantize to nvfp4
w4a4
npx skills add vllm-project/llm-compressor --skill nvfp4 -g -y
根据用户选择的FP8量化方案（如FP8_BLOCK、FP8_DYNAMIC或MXFP8），生成Python示例脚本并保存压缩张量检查点，支持标准及超大模型路径。
fp8
FP8_DYNAMIC
FP8_BLOCK
MXFP8
fp8 example
quantize to fp8
npx skills add vllm-project/llm-compressor --skill fp8 -g -y
生成NVFP4量化示例脚本，保存压缩张量检查点。基于校准数据使用oneshot路径，处理模型类型调整并输出Python文件。
nvfp4
NVFP4
fp4
nvfp4 example
quantize to nvfp4
w4a4
npx skills add vllm-project/llm-compressor --skill nvfp4 -g -y
