jundot/omlx

oMLX是为苹果芯片优化的LLM推理服务器，支持连续批处理和分层KV缓存技术，可通过macOS菜单栏直接管理，实现高效的大语言模型本地部署与推理。