MNN在大模型端侧部署上的探索

在线工具

反馈

MNN 在大模型端侧部署上的探索

出处：mp.weixin.qq.com

随着移动端（手机/平板等）算力、内存、磁盘空间的不断增长，在移动端部署大模型逐渐成为可能。在端侧运行大模型，可以有一系列好处：去除网络延迟，加快响应速度；降低算力成本，便于大规模应用；不需数据上传，保护用户稳私。

阅读原文

xiaozi 于 2024-11-20 分享

关联话题： #阿里巴巴

欢迎在评论区写下你对这篇文章的看法。

据说喜欢分享的,后来都成了大神

知道时间不能停留，就无需伤春悲秋；知道感情不可刻意，就不会为谁寻死活；知道孤独总是如影随形，就不会在某些时刻难以自制；知道遗忘总是必然，就不会为一时的忘却伤感；知道过去始终存在，就没有必要遮掩和炫耀；知道美好总会在将来的某一刻消逝，就要好好把握现在的每一刻。