类库
› zse
Zyora-Dev/zse
ZSE是一个零依赖的LLM推理引擎,通过纯Python和自定义内核编译器实现极速冷启动和低内存占用。它支持CUDA、ROCm和Metal后端,无需PyTorch等重型依赖,适用于生产环境的高效模型服务。
ZSE是一个零依赖的LLM推理引擎,通过纯Python和自定义内核编译器实现极速冷启动和低内存占用。它支持CUDA、ROCm和Metal后端,无需PyTorch等重型依赖,适用于生产环境的高效模型服务。
Home
-
Wiki
Copyright © 2011-2026 iteam.
Current version is 2.155.2.
UTC+08:00, 2026-08-18 11:38
浙ICP备14020137号-1
$Map of visitor$