Requirement Adherence: Boosting Data Labeling Quality Using LLMs

Requirement Adherence: Boosting Data Labeling Quality Using LLMs

摘要

Uber AI 解决方案通过 LLM 技术开发了“需求遵从”框架，用于实时检测文本标注错误。该框架将客户 SOP 文档转换为规则，并在标注工具 uLabel 中实时验证，提升数据质量。规则分为格式化、确定性、主观性和复杂主观性四类，分别采用不同 LLM 进行处理，确保高效准确。该系统显著减少了审核需求，提升了标注效率，同时保障数据隐私。