Defining Continual Learning

Defining Continual Learning

摘要

大模型持续学习面临灾难性遗忘难题，核心在于如何高效、组合式地吸收新数据而不丢失通用能力。理想方案需满足五大原则：保持通用性能、支持序列学习、适应不同数据分布、高效更新参数、实现技能组合。相比外挂记忆方案，参数化学习在扩展性和自动组合知识上更具潜力，但面临样本效率低、知识覆盖等挑战。后续将探讨具体评估方法。