Agent Skills
› vllm-project/llm-compressor
vllm-project/llm-compressor
GitHub用于创建、管理和微调小型模型以进行测试和开发。支持检查配置、保存精简模型、验证结构及在玩具数据集上进行微调，帮助快速验证模型架构与训练流程。
Install All Skills
npx skills add vllm-project/llm-compressor --all -g -y
Skills in Collection (6)
用于创建、管理和微调小型模型以进行测试和开发。支持检查配置、保存精简模型、验证结构及在玩具数据集上进行微调，帮助快速验证模型架构与训练流程。
需要为测试或实验创建小型模型
需要快速验证模型架构或微调流程
需要检查和修改模型配置参数
npx skills add vllm-project/llm-compressor --skill create-tiny-model -g -y
该技能用于创建和管理用于测试与开发的小型模型。通过检查配置、缩减参数量、微调及验证，生成架构保留但规模约1B的轻量级模型，支持多模态处理与快速实验。
需要为大型模型创建小型替代品以加速测试或开发
进行模型架构实验或参数敏感性分析
快速验证新模型配置是否可正常加载和微调
npx skills add vllm-project/llm-compressor --skill create-tiny-model -g -y
生成FP8量化示例脚本并保存压缩张量检查点。支持FP8_BLOCK、FP8_DYNAMIC和MXFP8方案，根据模型类型选择oneshot或model_free_ptq路径，应用调整配置并输出最终代码。
fp8
FP8_DYNAMIC
FP8_BLOCK
MXFP8
fp8 example
quantize to fp8
npx skills add vllm-project/llm-compressor --skill fp8 -g -y
生成 NVFP4 (W4A4) 量化示例脚本并保存压缩检查点。需收集模型信息，使用 oneshot 模板配置校准数据，应用模型类型调整，最终输出 Python 脚本。
nvfp4
NVFP4
fp4
nvfp4 example
quantize to nvfp4
w4a4
npx skills add vllm-project/llm-compressor --skill nvfp4 -g -y
根据用户选择的FP8量化方案（如FP8_BLOCK、FP8_DYNAMIC或MXFP8），生成Python示例脚本并保存压缩张量检查点，支持标准及超大模型路径。
fp8
FP8_DYNAMIC
FP8_BLOCK
MXFP8
fp8 example
quantize to fp8
npx skills add vllm-project/llm-compressor --skill fp8 -g -y
生成NVFP4量化示例脚本，保存压缩张量检查点。基于校准数据使用oneshot路径，处理模型类型调整并输出Python文件。
nvfp4
NVFP4
fp4
nvfp4 example
quantize to nvfp4
w4a4
npx skills add vllm-project/llm-compressor --skill nvfp4 -g -y
