类库
› zse
Zyora-Dev/zse
ZSE是一个零依赖的LLM推理引擎,通过纯Python和自定义内核编译器实现极速冷启动和低内存占用。它支持CUDA、ROCm和Metal后端,无需PyTorch等重型依赖,适用于生产环境的高效模型服务。
ZSE是一个零依赖的LLM推理引擎,通过纯Python和自定义内核编译器实现极速冷启动和低内存占用。它支持CUDA、ROCm和Metal后端,无需PyTorch等重型依赖,适用于生产环境的高效模型服务。