LLM Fail to Acquire Context

LLM Fail to Acquire Context

摘要

大型语言模型（LLM）在数学问题中面对缺失信息时，常直接给出答案而非询问缺失条件，导致性能显著下降。通过构建基准测试，发现LLM在缺失关键信息时易陷入假设性幻觉，直接回答错误。测试显示，尽管LLM在提问时能有效获取条件，但整体上更倾向于直接作答，且假设性错误频发，尤其在未提问时准确率为零。这表明LLM在处理不完整信息时存在显著缺陷，亟需改进。