端侧AI突破性能瓶颈：MNN 基于 SME2 指令集的大模型高效推理实现

端侧 AI 突破性能瓶颈：MNN 基于 SME2 指令集的大模型高效推理实现

摘要

本文探讨了Arm架构下SME2指令集在MNN推理引擎中的应用，重点介绍了动态量化矩阵乘和浮点矩阵乘的实现方法。通过优化矩阵分块和利用SME2的多向量指令，显著提升了LLM模型和CV任务的推理性能，尤其在预填充和解码阶段表现出色，为端侧AI推理提供了高性能、低功耗的解决方案。