为什么AI会“选择性失忆”：搞懂Transformer架构

Online Tools

反馈

为什么 AI 会 “选择性失忆”：搞懂 Transformer 架构

出处：mp.weixin.qq.com

Transformer的“选择性失忆”源于自注意力机制：softmax将注意力权重零和分配，长对话稀释早期信息；窗口截断则让超限内容彻底缺席。遗忘是聚焦的代价，参数记忆负责知识，注意力记忆负责语境，两者共同塑造了AI的记忆边界。

阅读原文

xiaozi 于 2026-11-04 分享

140

欢迎在评论区写下你对这篇文章的看法。

据说喜欢分享的,后来都成了大神

普通人一生的四个阶段：心比天高的无知快乐与希望——愧不如人后的奋斗与煎熬——毫无回报的愤懑与失望——坦然的平凡和颓废。你走到哪一步了?