Home Topic library logo Library Mine
More

大语言模型的训练后量化算法综述

摘要

本文深入探讨了大模型量化技术，涵盖GPTQ、AWQ、HQQ等多种方法，旨在减少模型大小和计算量，提升推理效率。量化对象包括权重、激活值和KV缓存，涉及静态与动态、线性与非线性等多维度策略。通过对比不同算法的量化效果和性能，为实际应用提供了优化思路。

阅读原文
xiaozi 于 2025-04-14 分享
137 海报分享
关联话题： #得物

欢迎在评论区写下你对这篇文章的看法。

评论

Home - Wiki
Copyright © 2011-2025 iteam. Current version is 2.143.0. UTC+08:00, 2025-04-16 02:56
浙ICP备14020137号-1 $Map of visitor$