How Long Contexts Fail

How Long Contexts Fail

摘要

大模型的长上下文窗口虽能容纳更多信息，但也带来新问题：上下文污染可能导致错误信息反复引用；过长上下文让模型过度依赖历史，忽略新策略；无关工具或信息引发低质量响应；上下文冲突则使模型陷入矛盾。这些问题在代理任务中尤为突出，因为代理需要整合多源信息，导致上下文迅速膨胀。解决这些挑战需要动态加载工具和隔离上下文等技术手段。