类库 › cider
Mininglamp-AI

Mininglamp-AI/cider

Cider是一个基于MLX的量化推理框架,专门为苹果M系列芯片(特别是M5及以上)优化。它提供了MLX缺失的在线激活量化算子,通过自定义INT8 TensorCore内核实现W8A8和W4A8量化,可加速LLM推理。包含对mlx_vlm的兼容性补丁,修复多图像推理问题。

评论

Home - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-05-10 21:19
浙ICP备14020137号-1 $Map of visitor$