Home Topic library logo Library Mine
More

动态量化：大模型在端侧 CPU 快速推理方案

摘要

作为一款高性能的推理引擎框架，MNN高度关注Transformer模型在移动端的部署并持续探索优化大模型在端侧的推理方案。本文介绍权重量化的模型在MNN CPU后端的推理方案：动态量化。

阅读原文
xiaozi 于 2024-10-16 分享
219 海报分享
关联话题： #阿里巴巴

欢迎在评论区写下你对这篇文章的看法。

评论

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-05 12:25
浙ICP备14020137号-1 $Map of visitor$