类库
› cider
Mininglamp-AI/cider
Cider是一个基于MLX的量化推理框架,专门为苹果M系列芯片(特别是M5及以上)优化。它提供了MLX缺失的在线激活量化算子,通过自定义INT8 TensorCore内核实现W8A8和W4A8量化,可加速LLM推理。包含对mlx_vlm的兼容性补丁,修复多图像推理问题。
Cider是一个基于MLX的量化推理框架,专门为苹果M系列芯片(特别是M5及以上)优化。它提供了MLX缺失的在线激活量化算子,通过自定义INT8 TensorCore内核实现W8A8和W4A8量化,可加速LLM推理。包含对mlx_vlm的兼容性补丁,修复多图像推理问题。
Home
-
Wiki
Copyright © 2011-2026 iteam.
Current version is 2.155.2.
UTC+08:00, 2026-05-10 21:19
浙ICP备14020137号-1
$Map of visitor$