How to run gpt-oss with vLLM

How to run gpt-oss with vLLM

摘要

vLLM是一款高效的开源推理引擎，专为大型语言模型优化内存和处理速度。本指南详细介绍了如何在服务器上安装vLLM，并部署gpt-oss-20b或gpt-oss-120b模型，提供API服务。同时，vLLM支持与OpenAI SDK无缝集成，实现功能调用和浏览能力。无论是直接采样还是API调用，vLLM都能高效处理推理任务。