EverMind-AI/MSA

MSA是一个可扩展的端到端可训练的稀疏注意力记忆框架，旨在突破LLM有效上下文长度限制，提供100M token级别的长上下文处理能力。它通过稀疏注意力、KV缓存压缩和内存交错等技术，在训练和推理中实现近线性复杂度，显著提升长文档问答等任务的性能。