Home Topic library logo Library Code Library Shop
More
类库 › tokenspeed
lightseekorg

lightseekorg/tokenspeed

TokenSpeed是一个专为AI agent任务设计的高性能LLM推理引擎，在保证TensorRT-LLM级别性能的同时提供类似vLLM的易用性。它采用本地SPMD架构和静态编译，用户无需手动编写并行逻辑，并通过C++调度器和分层内核系统实现高效推理，尤其针对Blackwell平台优化了MLA（多头潜在注意力）实现。

1,364 139 1,364 41
在 GitHub 上查看
lightseekorg/tokenspeed

标签

blackwell deepseek gpt-oss kimi lightseek llm minimax nemotron qwen speed-of-light tokenspeed

截图

./assets/banner/tokenspeed-banner.png
./assets/perf/tokenspeed-kimi-k2.5-performance.png

相关项目

jd-opensource
jd-opensource/OxyGent
OxyGent是一个开源的多智能体协作框架，使开发者能够快速构建、部署和演化多智能体系统，支持灵活的工具和模型集成。
835 Python
sentient-agi
sentient-agi/OpenDeepSearch
OpenDeepSearch是一个开源搜索平台，结合推理模型和推理代理，旨在实现搜索功能的民主化，帮助用户更智能地访问信息。
3.6k Python
metehan777
metehan777/google-ai-mode-optimization-tool
这个仓库是一个分析WordPress网站的工具，使用查询分解和多跳推理策略来优化Google AI模式，提供可视化内容网络和优化建议。
13 Python
tjmlabs
tjmlabs/ColiVara
ColiVara是一个文档存储和检索服务，基于视觉嵌入技术实现先进的文本和视觉文档检索，无需OCR或文本提取。
1.3k Python
TracecatHQ
TracecatHQ/tracecat
Tracecat是一个全功能的自动化平台，旨在为安全和IT团队提供工作流、表格和案例管理，是开源的Splunk SOAR和ServiceNow SecOps替代方案。
3.2k Python
NanoNets
NanoNets/docstrange
DocStrange用于智能提取和转换各种文档（如PDF、Word、图片等）中的数据，并支持多种格式（Markdown、JSON等），方便用户处理和利用文档信息。
521 Python

评论

Home - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-06-07 19:46
浙ICP备14020137号-1 $Map of visitor$