mnn-llm: 大语言模型端侧 CPU 推理优化

摘要

本文将介绍LLM模型的导出与部署支持与MNN针对LLM端侧CPU推理的性能优化方案。

欢迎在评论区写下你对这篇文章的看法。

评论

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-05 12:22
浙ICP备14020137号-1 $Map of visitor$