mnn-llm: 大语言模型端侧 CPU 推理优化

摘要

本文将介绍LLM模型的导出与部署支持与MNN针对LLM端侧CPU推理的性能优化方案。

欢迎在评论区写下你对这篇文章的看法。

评论

trang chủ - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.3. UTC+08:00, 2024-11-28 18:47
浙ICP备14020137号-1 $bản đồ khách truy cập$