Late Chunking in Long-Context Embedding Models

Late Chunking in Long-Context Embedding Models

摘要

长文本嵌入模型中，传统分块嵌入法在处理长距离依赖时存在信息丢失问题。为解决这一难题，提出“延迟分块”策略，先对全文进行嵌入，再分块处理，保留上下文信息。实验表明，该方法在长文档检索任务中表现优异，尤其在文档长度较大时效果显著。延迟分块有效提升了检索质量，验证了长上下文嵌入模型的价值。