类库
› vllm-omni
vllm-project/vllm-omni
vllm-omni是一个高效的多模态模型推理框架,旨在让每个人都能轻松、快速且低成本地部署全模态AI模型服务。它基于上游vLLM构建,支持多种视觉、音频、文本和扩散模型,并提供生产就绪的分布式执行能力。
标签
截图
vllm-omni是一个高效的多模态模型推理框架,旨在让每个人都能轻松、快速且低成本地部署全模态AI模型服务。它基于上游vLLM构建,支持多种视觉、音频、文本和扩散模型,并提供生产就绪的分布式执行能力。