Reducing Doom Loops with Final Token Preference Optimization

Reducing Doom Loops with Final Token Preference Optimization

摘要

推理模型在生成推理链时易陷入“毁灭循环”，重复输出同一段文本。该问题源于过拟合标记、上下文强化和贪婪采样。我们提出Antidoom方法，通过最终标记偏好优化精准定位循环起始标记，训练模型选择合理替代。实验显示，该方法将循环率从10.2%降至1.4%，并提升评估分数。