22580: From GPT2 to Kimi3, Explained

22580: From GPT2 to Kimi3, Explained

摘要

从GPT-2到KimiK3，模型规模增长22,580倍，但核心变化并非仅靠缩放。架构演进聚焦于状态存储与更新：线性注意力、DeltaNet、Gated DeltaNet、KDA与Kimi Linear逐步优化记忆与检索，最终KimiK3融合恒态记忆、软注意力、稀疏专家与深度残差访问，实现高效信息处理。