小红书 hi lab 团队关于奖励模型的一些探索

小红书 hi lab 团队关于奖励模型的一些探索

摘要

奖励模型（RM）在确保大语言模型（LLMs）符合人类偏好中起关键作用，但面临评估、泛化和数据质量等挑战。研究探索了多模态RM的泛化能力、中文偏好数据集的构建、自我批判框架提升推理能力，以及通过代码数据预训练提升推理RM效率。这些方法旨在优化模型对齐效果，减少对人工标注的依赖，提升模型在复杂任务中的表现。