LLM推理加速：decode阶段的Attention在GPU上的优化（二） - 在线工具

在线工具

在线工具

反馈

更多

LLM 推理加速：decode 阶段的 Attention 在 GPU 上的优化（二）

出处：mp.weixin.qq.com

摘要

在这篇文章里，我们想以MMHA在A10上的执行为例，简单探讨下在这个区间内，MMHA的计算可以怎么继续调优。

阅读原文

xiaozi 于 2024-09-09 分享

593

关联话题： #阿里巴巴

欢迎在评论区写下你对这篇文章的看法。

评论

据说喜欢分享的,后来都成了大神

国别域名注册8折优惠

vultr activity

tencent

我的梦想就是一手拿着相机，一手拉着你，四处旅行。每天日落时的歇脚处都是我们的家。然后在三十多岁的时候还在初级职位上拿着微薄的薪水，和刚毕业的年轻人一起被呼来喝去。

文库

更多

首页 - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-22 05:51
浙ICP备14020137号-1 $访客地图$