Accueil Sujet library logo Bibliothèque Mon profil
Plus

动态量化：大模型在端侧 CPU 快速推理方案

摘要

作为一款高性能的推理引擎框架，MNN高度关注Transformer模型在移动端的部署并持续探索优化大模型在端侧的推理方案。本文介绍权重量化的模型在MNN CPU后端的推理方案：动态量化。

阅读原文
xiaozi 于 2024-10-16 分享
258 海报分享
关联话题： #阿里巴巴

欢迎在评论区写下你对这篇文章的看法。

评论

Accueil - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-15 01:17
浙ICP备14020137号-1 $Carte des visiteurs$