홈 항목 library logo 글 코드베이스 상점
자세히
类库 › krasis
brontoguana

brontoguana/krasis

Krasis是一个混合LLM运行时，专注于在消费者级VRAM有限硬件上高效运行大型专家混合模型。它使用Python编排的Rust MoE运行时，能在普通硬件上运行2000亿+参数的大模型，支持全GPU预填充和高效的CPU解码，实现实用速度。

402 21 402 14
在 GitHub 上查看
brontoguana/krasis

标签

cpu-inference gguf-model-support gpu-inference high-performance-inference hybrid-inference inference-engine inference-optimization large-language-models llama-cpp-alternative llm-inference mixture-of-experts transformer

截图

Krasis Server

相关项目

tensorflow
tensorflow/tensorflow
TensorFlow是一个开源的机器学习框架，提供工具、库和社区资源，帮助研究人员和开发者构建和部署机器学习应用。
191.3k C++
godotengine
godotengine/godot
Godot是一个跨平台的2D和3D游戏引擎，提供丰富的工具，帮助用户便捷地创建和导出游戏。
100.5k C++
ggml-org
ggml-org/llama.cpp
llama.cpp是一个用于C/C++语言的LLM推理库，提供多种API接口，适合开发者进行语言模型推理和应用集成。
85.4k C++
nomic-ai
nomic-ai/gpt4all
GPT4All是一款开源软件，可以在任何设备上本地运行大型语言模型，用户无需API调用或GPU，方便快速启动和使用。
77k C++
tesseract-ocr
tesseract-ocr/tesseract
Tesseract是一个开源的OCR引擎，支持文本识别和处理，提供命令行工具，适用于多种文档及图像格式。
69k C++
protocolbuffers
protocolbuffers/protobuf
Protocol Buffers是Google开发的跨语言、跨平台的结构化数据序列化机制，主要用于数据交换。
68.9k C++

评论

홈 - 위키
Copyright © 2011-2026 iteam. Current version is 2.155.1. UTC+08:00, 2026-04-06 01:34
浙ICP备14020137号-1 $방문자$