类库
› mac-code
walter-grace/mac-code
mac-code是一个免费运行大型AI模型的工具,专为Mac设计。它通过闪存分页技术,在内存有限的Mac上运行超出现有RAM容量的大模型(如35B参数模型),实现本地部署而无需月费。支持多种量化配置,提供不同速度与精度的平衡。
技术栈
research/expert-sniper/distributed python
框架
FastAPI
网络
Requests
查看全部依赖 (7)
依赖
NumPy
huggingface_hub
mlx
mlx-lm
tokenizers
transformers
uvicorn
research/expert-sniper/runpod-worker/src python
查看全部依赖 (3)
依赖
openai
python-dotenv
runpod