关于大模型语料的迷思

关于大模型语料的迷思

摘要

随着大模型发展的不断深入，我们越来越关注到语料质量对模型能力的影响，语料中的偏差和主观性会导致生成内容不准确或带有偏见。智能引擎事业部是阿里内部深耕多年的AI工程团队，为内部业务提供了完整的大模型工程体系，持续关注大模型训推性能、成本、研发范式等关键问题。本文将基于我们的思考，探讨大模型语料的复杂性及其背后的思维过程。