类库
› SwiftLM
SharpAI/SwiftLM
SwiftLM是专为苹果芯片优化的原生Swift推理服务器,支持MLX模型并提供OpenAI兼容API。具有高性能推理、SSD流式处理大型模型、KV缓存压缩等功能,适用于macOS和iOS应用开发。
截图
SwiftLM是专为苹果芯片优化的原生Swift推理服务器,支持MLX模型并提供OpenAI兼容API。具有高性能推理、SSD流式处理大型模型、KV缓存压缩等功能,适用于macOS和iOS应用开发。