为什么AI会“选择性失忆”：搞懂Transformer架构

在线工具

反馈

为什么 AI 会 “选择性失忆”：搞懂 Transformer 架构

出处：mp.weixin.qq.com

Transformer的“选择性失忆”源于自注意力机制：softmax将注意力权重零和分配，长对话稀释早期信息；窗口截断则让超限内容彻底缺席。遗忘是聚焦的代价，参数记忆负责知识，注意力记忆负责语境，两者共同塑造了AI的记忆边界。

阅读原文

xiaozi 于 2026-11-04 分享

233

欢迎在评论区写下你对这篇文章的看法。

据说喜欢分享的,后来都成了大神

做事三思而后行，1、能不能不做，2、能不能明天做，3、能不能交给别人做。