Defeating Nondeterminism in LLM Inference

Defeating Nondeterminism in LLM Inference

摘要

大语言模型（LLM）推理中的非确定性问题源于浮点数非结合性和并发计算的复杂性。尽管通过调整温度等参数理论上可以实现确定性，但实际应用中仍存在差异。主要原因在于推理过程中的批处理大小变化，导致输出结果不一致。解决这一问题的关键在于实现批处理不变性，确保每个请求的推理结果不受其他并发请求的影响，从而获得可复现的结果。