类库
› pegainfer
xiaguan/pegainfer
pegainfer是一个用纯Rust和CUDA构建的LLM推理引擎,无需PyTorch或其他框架。专注于从底层实现高性能推理,支持多种模型,追求Rust原生推理的最佳性能。
技术栈
根目录 rust
查看全部依赖 (4)
依赖
anyhow
1.0
ndarray
0.16
safetensors
0.7
tokenizers
0.22