Главная тема library logo Библиотека Библиотека кодов Магазин
развернуть
类库 › KVarN
huawei-csl

huawei-csl/KVarN

KVarN是vLLM的原生KV缓存量化后端，无需校准且仅需一个标志即可启用。它提供3-5倍上下文容量和高于FP16的吞吐量，同时保持FP16级精度，专为智能体和长上下文工作负载设计，显著提升并发处理能力。

351 17 351 3
在 GitHub 上查看
huawei-csl/KVarN

标签

agentic-ai kv-cache llm llm-inference long-context quantization vllm

技术栈

rust/src/cmd rust

查看全部依赖 (1)

依赖

native-tls-vendored

rust/src/engine-core-client rust

查看全部依赖 (1)

依赖

tempfile

截图

imgs/pareto_qwen3-32b.png
imgs/kvarn_pipeline.gif

相关项目

jd-opensource
jd-opensource/OxyGent
OxyGent是一个开源的多智能体协作框架，使开发者能够快速构建、部署和演化多智能体系统，支持灵活的工具和模型集成。
835 Python
sentient-agi
sentient-agi/OpenDeepSearch
OpenDeepSearch是一个开源搜索平台，结合推理模型和推理代理，旨在实现搜索功能的民主化，帮助用户更智能地访问信息。
3.6k Python
metehan777
metehan777/google-ai-mode-optimization-tool
这个仓库是一个分析WordPress网站的工具，使用查询分解和多跳推理策略来优化Google AI模式，提供可视化内容网络和优化建议。
13 Python
tjmlabs
tjmlabs/ColiVara
ColiVara是一个文档存储和检索服务，基于视觉嵌入技术实现先进的文本和视觉文档检索，无需OCR或文本提取。
1.3k Python
TracecatHQ
TracecatHQ/tracecat
Tracecat是一个全功能的自动化平台，旨在为安全和IT团队提供工作流、表格和案例管理，是开源的Splunk SOAR和ServiceNow SecOps替代方案。
3.2k Python
NanoNets
NanoNets/docstrange
DocStrange用于智能提取和转换各种文档（如PDF、Word、图片等）中的数据，并支持多种格式（Markdown、JSON等），方便用户处理和利用文档信息。
521 Python

评论

Главная - Вики-сайт
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-06-08 19:28
浙ICP备14020137号-1 $Гость$