Agent Skills
› vllm-project/llm-compressor
vllm-project/llm-compressor
GitHub基于实验结果、日志或讨论，在LLM Compressor研究库中创建、更新或审查文档条目。
Install All Skills
npx skills add vllm-project/llm-compressor --all -g -y
Skills in Collection (7)
基于实验结果、日志或讨论，在LLM Compressor研究库中创建、更新或审查文档条目。
提交新的实验研究成果
更新已有的实验数据
审查研究条目准确性
npx skills add vllm-project/llm-compressor --skill contribute-research -g -y
用于创建和管理小型模型以支持测试与开发，包含配置检查、张量分析、微调及验证脚本，帮助快速构建轻量级模型进行实验。
需要为测试或开发创建小型模型时
需要对现有模型进行轻量化改造和微调验证时
npx skills add vllm-project/llm-compressor --skill create-tiny-model -g -y
该技能用于创建和管理用于测试与开发的小型模型。通过检查配置、缩减参数量、微调及验证，生成架构保留但规模约1B的轻量级模型，支持多模态处理与快速实验。
需要为大型模型创建小型替代品以加速测试或开发
进行模型架构实验或参数敏感性分析
快速验证新模型配置是否可正常加载和微调
npx skills add vllm-project/llm-compressor --skill create-tiny-model -g -y
生成FP8量化示例脚本并保存压缩张量检查点。根据模型类型和硬件选择FP8_BLOCK、FP8_DYNAMIC或MXFP8方案，使用oneshot或model_free_ptq路径，应用校准和数据转换以优化精度。
fp8
FP8_DYNAMIC
FP8_BLOCK
MXFP8
fp8 example
quantize to fp8
npx skills add vllm-project/llm-compressor --skill fp8 -g -y
生成NVFP4量化示例脚本，保存压缩张量检查点。涵盖信息收集、使用oneshot模板、应用模型类型调整及文件编写，需校准数据，不支持model_free_ptq。
nvfp4
NVFP4
fp4
nvfp4 example
quantize to nvfp4
w4a4
npx skills add vllm-project/llm-compressor --skill nvfp4 -g -y
根据用户选择的FP8量化方案（如FP8_BLOCK、FP8_DYNAMIC或MXFP8），生成Python示例脚本并保存压缩张量检查点，支持标准及超大模型路径。
fp8
FP8_DYNAMIC
FP8_BLOCK
MXFP8
fp8 example
quantize to fp8
npx skills add vllm-project/llm-compressor --skill fp8 -g -y
生成NVFP4量化示例脚本，保存压缩张量检查点。基于校准数据使用oneshot路径，处理模型类型调整并输出Python文件。
nvfp4
NVFP4
fp4
nvfp4 example
quantize to nvfp4
w4a4
npx skills add vllm-project/llm-compressor --skill nvfp4 -g -y
