类库 › omlx
jundot

jundot/omlx

oMLX是为苹果芯片优化的LLM推理服务器,支持连续批处理和分层KV缓存技术,可通过macOS菜单栏直接管理,实现高效的大语言模型本地部署与推理。

9,918 857 9,918 110
在 GitHub 上查看
jundot/omlx

截图

https://cdn.buymeacoffee.com/buttons/v2/default-yellow.png

评论

首页 - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.1. UTC+08:00, 2026-04-16 05:43
浙ICP备14020137号-1 $访客地图$