LLM推理加速：decode阶段的Attention在GPU上的优化（二）

反馈

развернуть

LLM 推理加速：decode 阶段的 Attention 在 GPU 上的优化（二）

出处：mp.weixin.qq.com

在这篇文章里，我们想以MMHA在A10上的执行为例，简单探讨下在这个区间内，MMHA的计算可以怎么继续调优。

阅读原文

xiaozi 于 2024-09-09 分享

759

关联话题： #阿里巴巴

欢迎在评论区写下你对这篇文章的看法。

据说喜欢分享的,后来都成了大神

坏事总是不断发生，可还是有很多办法来解决困难。永远不要忘记进修学问，拓阔胸襟。人生所有的烦恼会不多不少永远追随，只不过学识涵养可以使一个人更加理智冷静地分析处理这些难题而已。