Home Topic library logo Library Code Library Shop
More
类库 › Quansloth
PacifAIst

PacifAIst/Quansloth

Quansloth 是一个基于 Google TurboQuant 技术实现的本地 AI 服务器，专注于通过极致的 KV 缓存压缩来大幅降低大语言模型推理时的 GPU 内存占用。它能在消费级硬件上稳定运行超长上下文模型，实现完全的私有化、离线部署，有效避免GPU内存不足导致的崩溃。

94 11 94
在 GitHub 上查看
PacifAIst/Quansloth

标签

cuda quansloth turboquant vram-wall

技术栈

根目录 python

查看全部依赖 (3)

依赖

PyPDF2 gradio openai

截图

Interface

相关项目

donnemartin
donnemartin/system-design-primer
该仓库是一个系统设计学习资源库，用于帮助开发者学习和设计大规模分布式系统，并为系统设计面试做准备。包含大量结构化学习材料、Anki闪卡和多语言翻译。
344.3k Python
Significant-Gravitas
Significant-Gravitas/AutoGPT
AutoGPT是一个强大的平台，允许用户创建、部署和管理持续的AI智能体，自动化复杂工作流程。
178k Python
huggingface
huggingface/transformers
🤗 Transformers是用于自然语言处理、计算机视觉、音频和多模态任务的先进机器学习模型库，支持预训练模型的定义、推理和训练，涵盖数千种最前沿的模型架构与权重。
159.9k Python
AUTOMATIC1111
AUTOMATIC1111/stable-diffusion-webui
该仓库提供Stable Diffusion的网页界面，用户可以通过直观的方式实现文本生成图片及图像处理，如修复、放大和调整参数等功能。
155.9k Python
ytdl-org
ytdl-org/youtube-dl
youtube-dl是一个命令行程序，用于从YouTube及其他视频网站下载视频，方便用户在各种平台上离线观看。
137k Python
yt-dlp
yt-dlp/yt-dlp
yt-dlp是一个功能丰富的命令行音视频下载器，支持成千上万的网站，方便用户下载多种格式的媒体内容。
123.6k Python

评论

Home - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.1. UTC+08:00, 2026-04-27 03:37
浙ICP备14020137号-1 $Map of visitor$