LLM 系列（十八）：注意力机制 Attention

LLM 系列（十八）：注意力机制 Attention

摘要

NLP领域的核心在于构建理解语言序列与上下文依赖的模型。RNN及其变体虽一度主导，但序列递归处理存在不可并行化与长距离依赖丢失问题。Transformer以注意力机制实现全局并行，突破递归限制，依赖Q、K、V捕捉词间关系，多头设计提升表达力。随着模型规模扩大，MHA、MQA、GQA、MLA等变体在性能与资源间寻求平衡，FlashAttention等工程优化则释放了计算潜力。