LLM 系列（十五）：Positional Encoding

LLM 系列（十五）：Positional Encoding

摘要

Transformer的自注意力机制天生无法感知序列顺序，导致“狗咬人”与“人咬狗”无法区分。为解决这一问题，位置编码被引入，通过正弦函数或可学习向量为每个词元注入位置信息。位置编码不仅帮助模型理解绝对位置，还能通过数学设计间接学习相对位置关系，成为Transformer处理序列数据的核心补丁。