inicio tema library logo biblioteca biblioteca de código tienda
más
类库 › openinfer
openinfer-project

openinfer-project/openinfer

pegainfer是一个用纯Rust和CUDA构建的LLM推理引擎，无需PyTorch或其他框架。专注于从底层实现高性能推理，支持多种模型，追求Rust原生推理的最佳性能。

618 93 618 145
在 GitHub 上查看
openinfer-project/openinfer

标签

cuda cuda-kernels deepseek gpu inference inference-engine kimi kimi-k2 kv-cache llm llm-inference llm-serving model-serving moe openai-api paged-attention qwen qwen3 rust vllm

技术栈

根目录 rust

查看全部依赖 (4)

依赖

anyhow 1.0 ndarray 0.16 safetensors 0.7 tokenizers 0.22

截图

docs/benchmarks/qwen3-4b-5090-perf.png

相关项目

phiresky
phiresky/sqlite-zstd
sqlite-zstd是一个为SQLite提供透明字典级行压缩的扩展，能够显著减少数据库大小，同时保持随机访问性能。
1.6k Rust
szabodanika
szabodanika/microbin
MicroBin是一个安全、可配置的文件共享和URL缩短的Web应用，便于用户自我托管，支持快速设置和使用。
3.9k Rust
tejas-raskar
tejas-raskar/noted.md
noted.md是一个命令行工具，可将手写笔记转换为干净易读的Markdown文件，支持多种图片格式和批量处理。
366 Rust
juspay
juspay/hyperswitch
Hyperswitch是一个开源支付交换平台，使用Rust编写，旨在实现快速、可靠且经济的支付解决方案。
32.5k Rust
mongodb
mongodb/kingfisher
Kingfisher 是一个快速的秘密扫描和实时验证工具，结合了哈希引擎与语言感知解析，能在生产前检测和验证秘密。
542 Rust
DioxusLabs
DioxusLabs/blitz
Blitz是一个模块化的HTML/CSS渲染引擎，旨在提供高效的网页渲染支持，适合开发者进行实验和构建应用。
2.8k Rust

评论

inicio - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-08-01 19:52
浙ICP备14020137号-1 $mapa de visitantes$