微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践

微信自研高性能推理计算引擎 .NET-DNN：跨平台 GPU 部署大语言模型及优化实践

摘要

XNet-DNN是微信团队研发的全平台神经网络推理引擎，支持Apple、NVIDIA、AMD等主流GPU，覆盖Windows、Linux、MacOS等操作系统。通过RCI跨平台框架，XNet-DNN在推理效率、内存占用和包体大小上显著优于现有方案。其核心优化包括系统级架构调整和算子深度调优，尤其在GEMM/GEMV和FlashAttention-2算法上表现突出，实测性能在多平台上均领先业界。