Home Topic library logo Library Code Library Shop
More
类库 › krasis
brontoguana

brontoguana/krasis

Krasis是一个混合LLM运行时，专注于在消费者级VRAM有限硬件上高效运行大型专家混合模型。它使用Python编排的Rust MoE运行时，能在普通硬件上运行2000亿+参数的大模型，支持全GPU预填充和高效的CPU解码，实现实用速度。

469 26 469 5
在 GitHub 上查看
brontoguana/krasis

标签

cpu-inference gguf-model-support gpu-inference high-performance-inference hybrid-inference inference-engine inference-optimization large-language-models llama-cpp-alternative llm-inference mixture-of-experts transformer

相关项目

python-greenlet
python-greenlet/greenlet
Greenlet是用于进程内并发编程的轻量级协程，提供更精细的控制流结构，可用于构建自定义微线程。
1.8k C++
alibaba
alibaba/MNN
MNN是一个快速、轻量级的深度学习框架，适用于商务关键场景，支持多模态LLM，并提供Android应用如MNN Chat和TaoAvatar。
13k C++
FreeCAD
FreeCAD/FreeCAD
FreeCAD是一个开源的3D参数化建模工具，专为设计各种实际物体而开发，支持多平台操作。
26.2k C++
audo-ai
audo-ai/magic-mic
Magic Mic是一个开源的实时音频处理应用，专注于为虚拟会议提供降噪功能，当前支持Linux平台，未来将扩展到其他操作系统。
379 C++
deskflow
deskflow/deskflow
Deskflow是一个开源应用，允许用户通过一个键盘和鼠标控制多台电脑，实现无缝协作，支持剪贴板共享和TLS加密。
20.1k C++
frePPLe
frePPLe/frepple
frePPLe是一个开源的需求预测和生产计划调度工具，帮助制造企业优化生产计划，适用于更复杂的计划需求。
592 C++

评论

Home - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-06-27 17:19
浙ICP备14020137号-1 $Map of visitor$