ホーム 話題 library logo ライブラリ コードベース お店
詳細表示

动态量化：大模型在端侧 CPU 快速推理方案

摘要

作为一款高性能的推理引擎框架，MNN高度关注Transformer模型在移动端的部署并持续探索优化大模型在端侧的推理方案。本文介绍权重量化的模型在MNN CPU后端的推理方案：动态量化。

阅读原文
xiaozi 于 2024-10-16 分享
2813 海报分享
关联话题： #阿里巴巴

欢迎在评论区写下你对这篇文章的看法。

评论

ホーム - Wiki
Copyright © 2011-2026 iteam. Current version is 2.148.4. UTC+08:00, 2026-01-27 20:24
浙ICP备14020137号-1 $お客様$