SAP——基于拆分与私有化框架的语言模型隐私保护微调方案

SAP——基于拆分与私有化框架的语言模型隐私保护微调方案

摘要

在大模型即服务（LMaaS）背景下，隐私保护成为关键挑战。字节跳动、香港城市大学、清华大学和南京大学的研究团队提出Split-and-Privatize（SAP）框架，结合拆分学习与差分隐私技术，有效平衡隐私与模型性能。SAP通过贡献令牌识别（CTI）方法，自适应调整隐私噪声，显著提升隐私保护能力，同时保持模型效用。实验表明，SAP在多个数据集上表现优异，为语言模型隐私保护提供了新思路。