Home Topic library logo Library Mine
More

MNN 在大模型端侧部署上的探索

摘要

随着移动端（手机/平板等）算力、内存、磁盘空间的不断增长，在移动端部署大模型逐渐成为可能。在端侧运行大模型，可以有一系列好处：去除网络延迟，加快响应速度；降低算力成本，便于大规模应用；不需数据上传，保护用户稳私。

阅读原文
xiaozi 于 2024-11-20 分享
21 海报分享
关联话题： #阿里巴巴

欢迎在评论区写下你对这篇文章的看法。

评论

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-20 23:21
浙ICP备14020137号-1 $Map of visitor$