RAG 工程里的上下文剪枝：如何减少 68% 的上下文

RAG 工程里的上下文剪枝：如何减少 68% 的上下文

摘要

在RAG系统中，检索到的chunk常被直接喂给大模型，但其中大量内容其实无用，导致成本高昂。Kapa提出在Reranker与生成模型间加入轻量剪枝模型，基于五档评分筛选必要chunk。实验显示，可剪掉68%的chunk，保留96%召回率，查询成本降低约34%，但会增加约0.7秒延迟，更适合Agent场景。