首页 话题 library logo 文库 码库 小摊
更多
类库 › omlx
jundot

jundot/omlx

oMLX是为苹果芯片优化的LLM推理服务器，支持连续批处理和分层KV缓存技术，可通过macOS菜单栏直接管理，实现高效的大语言模型本地部署与推理。

13,613 1,158 13,613 332
在 GitHub 上查看
jundot/omlx

标签

apple-silicon inference-server llm macos mlx openai-api

截图

https://cdn.buymeacoffee.com/buttons/v2/default-yellow.png
docs/images/omlx_dashboard.png
docs/images/Screenshot 2026-02-10 at 00.36.32.png
docs/images/Screenshot 2026-02-10 at 00.34.30.png
docs/images/Screenshot 2026-02-10 at 00.45.34.png
docs/images/omlx_hot_cold_cache.png
docs/images/omlx_ChatTemplateKwargs.png
docs/images/ScreenShot_2026-03-14_104350_610.png
docs/images/downloader_omlx.png
docs/images/omlx_integrations.png
docs/images/benchmark_omlx.png
docs/images/Screenshot 2026-02-10 at 00.51.54.png

相关项目

jd-opensource
jd-opensource/OxyGent
OxyGent是一个开源的多智能体协作框架，使开发者能够快速构建、部署和演化多智能体系统，支持灵活的工具和模型集成。
835 Python
sentient-agi
sentient-agi/OpenDeepSearch
OpenDeepSearch是一个开源搜索平台，结合推理模型和推理代理，旨在实现搜索功能的民主化，帮助用户更智能地访问信息。
3.6k Python
metehan777
metehan777/google-ai-mode-optimization-tool
这个仓库是一个分析WordPress网站的工具，使用查询分解和多跳推理策略来优化Google AI模式，提供可视化内容网络和优化建议。
13 Python
tjmlabs
tjmlabs/ColiVara
ColiVara是一个文档存储和检索服务，基于视觉嵌入技术实现先进的文本和视觉文档检索，无需OCR或文本提取。
1.3k Python
TracecatHQ
TracecatHQ/tracecat
Tracecat是一个全功能的自动化平台，旨在为安全和IT团队提供工作流、表格和案例管理，是开源的Splunk SOAR和ServiceNow SecOps替代方案。
3.2k Python
NanoNets
NanoNets/docstrange
DocStrange用于智能提取和转换各种文档（如PDF、Word、图片等）中的数据，并支持多种格式（Markdown、JSON等），方便用户处理和利用文档信息。
521 Python

评论

首页 - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-05-13 15:20
浙ICP备14020137号-1 $访客地图$