Accueil Sujet library logo Bibliothèque Astuce Magasin
Plus
类库 › gpustack
gpustack

gpustack/gpustack

GPUStack是一个开源GPU集群管理器，专为高效部署AI模型而设计。它通过选择最佳推理引擎（如vLLM、SGLang）、调度GPU资源、分析模型架构和自动配置参数，帮助用户在自有GPU硬件上实现优化的AI推理吞吐量。

4,762 489 4,762 541
在 GitHub 上查看
gpustack/gpustack

标签

ascend cuda deepseek distributed-inference genai high-performance-inference inference llama llm llm-inference llm-serving maas mindie openai qwen rocm sglang vllm

技术栈

查看全部依赖 (26)

依赖

NumPy Pydantic aiohappyeyeballs aiohttp aiosignal annotated-types anyio attrs certifi distro frozenlist h11 httpcore httpx httpx-aiohttp idna jiter multidict openai propcache pydantic_core sniffio tqdm typing-inspection typing_extensions yarl

截图

gpustack-v2-architecture
a100-throughput-comparison
deploy qwen3 from catalog
model is running
quick chat

相关项目

donnemartin
donnemartin/system-design-primer
该仓库是一个系统设计学习资源库，用于帮助开发者学习和设计大规模分布式系统，并为系统设计面试做准备。包含大量结构化学习材料、Anki闪卡和多语言翻译。
340.8k Python
Significant-Gravitas
Significant-Gravitas/AutoGPT
AutoGPT是一个强大的平台，允许用户创建、部署和管理持续的AI智能体，自动化复杂工作流程。
178k Python
huggingface
huggingface/transformers
🤗 Transformers是用于自然语言处理、计算机视觉、音频和多模态任务的先进机器学习模型库，支持预训练模型的定义、推理和训练，涵盖数千种最前沿的模型架构与权重。
158.6k Python
AUTOMATIC1111
AUTOMATIC1111/stable-diffusion-webui
该仓库提供Stable Diffusion的网页界面，用户可以通过直观的方式实现文本生成图片及图像处理，如修复、放大和调整参数等功能。
155.9k Python
ytdl-org
ytdl-org/youtube-dl
youtube-dl是一个命令行程序，用于从YouTube及其他视频网站下载视频，方便用户在各种平台上离线观看。
137k Python
yt-dlp
yt-dlp/yt-dlp
yt-dlp是一个功能丰富的命令行音视频下载器，支持成千上万的网站，方便用户下载多种格式的媒体内容。
123.6k Python

评论

Accueil - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.1. UTC+08:00, 2026-04-02 17:17
浙ICP备14020137号-1 $Carte des visiteurs$