Half-Quadratic Quantization of large machine learning models

Half-Quadratic Quantization of large machine learning models

摘要

大模型量化技术迎来新突破！HQQ算法无需校准数据，仅用5分钟即可完成Llama-2-70B的2比特量化，速度超GPTQ 50倍。该技术通过半二次优化和稀疏损失函数处理权重异常值，在保持精度的同时大幅降低内存占用。实测显示，2比特量化的70B模型性能超越全精度13B版本，视觉模型ViT-H-14在2比特下仍优于全精度ViT-B-32。开源代码已发布，推动大模型轻量化部署。