Teaching Sidekick to say no: automated data curation with LLM judge consensus

Teaching Sidekick to say no: automated data curation with LLM judge consensus

摘要

训练数据存在盲区：生产日志只记录成功案例，模型无法学会拒绝不可能请求。我们利用小型人工标注数据集校准多个大模型作为裁判，通过严格共识机制自动标注冲突数据，形成数据飞轮。拒绝能力使评分提升28.9%，准确率86.3%，假阳性4.6%。