mnn-llm: 大语言模型端侧 CPU 推理优化

摘要

本文将介绍LLM模型的导出与部署支持与MNN针对LLM端侧CPU推理的性能优化方案。

欢迎在评论区写下你对这篇文章的看法。

评论

首页 - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-22 11:59
浙ICP备14020137号-1 $访客地图$