AI Infra进阶：3万字深入理解线性注意力机制

AI Infra 进阶：3 万字深入理解线性注意力机制

摘要

大模型推理瓶颈是KV Cache随上下文线性增长。线性注意力通过固定状态矩阵压缩历史，其演进核心是状态更新机制：从简单累加到DeltaNet的残差覆写，再到GDN标量遗忘门，最终KDA实现按通道遗忘。同时，通过Chunkwise并行将非线性递推转为仿射变换与下三角求解，兼顾表达力与硬件效率。