Home Topic library logo Library Mine
More

模型量化与量化在 LLM 中的应用

摘要

模型的推理加速早已成为AI工程化的重要内容，而近年基于Transformer架构的大模型继而成为主流，大模型推理面临内存需求和并行性挑战，常见的推理优化方式中量化因可大大降低显存需求以及计算速度的提升成为神经网络及LLM的首选。

阅读原文
xiaozi 于 2024-04-22 分享
1403 海报分享
关联话题： #得物

欢迎在评论区写下你对这篇文章的看法。

评论

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-05 14:55
浙ICP备14020137号-1 $Map of visitor$