类库 › pegainfer
xiaguan

xiaguan/pegainfer

pegainfer是一个用纯Rust和CUDA构建的LLM推理引擎,无需PyTorch或其他框架。专注于从底层实现高性能推理,支持多种模型,追求Rust原生推理的最佳性能。

xiaguan/pegainfer

技术栈

根目录 rust

查看全部依赖 (4)

依赖

anyhow 1.0 ndarray 0.16 safetensors 0.7 tokenizers 0.22

评论

trang chủ - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.1. UTC+08:00, 2026-04-21 06:50
浙ICP备14020137号-1 $bản đồ khách truy cập$