mnn-llm: 大语言模型端侧 CPU 推理优化

摘要

本文将介绍LLM模型的导出与部署支持与MNN针对LLM端侧CPU推理的性能优化方案。

欢迎在评论区写下你对这篇文章的看法。

评论

首页 - Wiki
Copyright © 2011-2024 iteam. Current version is 2.139.0. UTC+08:00, 2024-12-22 22:12
浙ICP备14020137号-1 $访客地图$