trang chủ chủ đề library logo thư viện mã nguồn cửa hàng
thêm
类库 › spectralquant
Dynamis-Labs

Dynamis-Labs/spectralquant

SpectralQuant是一种基于Python和PyTorch的KV-Cache压缩技术，通过特征基旋转和水填充比特分配突破TurboQuant极限。主要用于大语言模型推理优化，旨在以极小开销实现高效内存节省，适用于深度学习研究及高性能计算场景。

199 22 199 3
在 GitHub 上查看

标签

compression kv-cache large-language-models llm-inference machine-learning pytorch quantization research-paper spectral-analysis transformer

相关项目

jd-opensource
jd-opensource/OxyGent
OxyGent是一个开源的多智能体协作框架，使开发者能够快速构建、部署和演化多智能体系统，支持灵活的工具和模型集成。
835 Python
sentient-agi
sentient-agi/OpenDeepSearch
OpenDeepSearch是一个开源搜索平台，结合推理模型和推理代理，旨在实现搜索功能的民主化，帮助用户更智能地访问信息。
3.6k Python
metehan777
metehan777/google-ai-mode-optimization-tool
这个仓库是一个分析WordPress网站的工具，使用查询分解和多跳推理策略来优化Google AI模式，提供可视化内容网络和优化建议。
13 Python
tjmlabs
tjmlabs/ColiVara
ColiVara是一个文档存储和检索服务，基于视觉嵌入技术实现先进的文本和视觉文档检索，无需OCR或文本提取。
1.3k Python
TracecatHQ
TracecatHQ/tracecat
Tracecat是一个全功能的自动化平台，旨在为安全和IT团队提供工作流、表格和案例管理，是开源的Splunk SOAR和ServiceNow SecOps替代方案。
3.2k Python
NanoNets
NanoNets/docstrange
DocStrange用于智能提取和转换各种文档（如PDF、Word、图片等）中的数据，并支持多种格式（Markdown、JSON等），方便用户处理和利用文档信息。
521 Python

评论

trang chủ - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-08-03 22:58
浙ICP备14020137号-1 $bản đồ khách truy cập$