类库 › pegainfer
pegainfer-project

pegainfer-project/pegainfer

pegainfer是一个用纯Rust和CUDA构建的LLM推理引擎,无需PyTorch或其他框架。专注于从底层实现高性能推理,支持多种模型,追求Rust原生推理的最佳性能。

653 102 653 147
在 GitHub 上查看
pegainfer-project/pegainfer

技术栈

根目录 rust

查看全部依赖 (4)

依赖

anyhow 1.0 ndarray 0.16 safetensors 0.7 tokenizers 0.22

截图

docs/benchmarks/qwen3-4b-5090-perf.png

评论

首页 - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-08-21 11:52
浙ICP备14020137号-1 $访客地图$