Главная тема library logo Библиотека Библиотека кодов Магазин
развернуть

LLM 推理加速：decode 阶段的 Attention 在 GPU 上的优化（二）

摘要

在这篇文章里，我们想以MMHA在A10上的执行为例，简单探讨下在这个区间内，MMHA的计算可以怎么继续调优。

阅读原文
xiaozi 于 2024-09-09 分享
3140 海报分享
关联话题： #阿里巴巴

欢迎在评论区写下你对这篇文章的看法。

评论

Главная - Вики-сайт
Copyright © 2011-2025 iteam. Current version is 2.148.1. UTC+08:00, 2025-11-20 09:06
浙ICP备14020137号-1 $Гость$