Kimi K3, explained: how forgetting made the biggest open model possible

Kimi K3, explained: how forgetting made the biggest open model possible

摘要

Kimi K3通过混合注意力机制（KDA与MLA）解决长上下文内存瓶颈，用固定大小的状态替换不断增长的KV缓存，实现2.8万亿参数下高效推理。其设计证明，选择性遗忘能让超大模型在长任务中保持性能与成本优势。