类库
› jangq
jjang-ai/jangq
JANGQ 是一个为苹果硅芯片优化的混合精度量化框架和运行时,类似于GGUF格式在MLX生态系统中的作用。它支持模型在GPU内存中以全速进行量化推理,实现大模型在有限内存设备上的高效运行。
截图
JANGQ 是一个为苹果硅芯片优化的混合精度量化框架和运行时,类似于GGUF格式在MLX生态系统中的作用。它支持模型在GPU内存中以全速进行量化推理,实现大模型在有限内存设备上的高效运行。