vivo联邦学习应用与实践

原创 vivo AI Lab vivo人工智能技术

喜欢你将「vivo人工智能技术」设为星标

JEEK

容易脸红的编程大神

进入本文之前，先来看看你是否有这些疑问吖~

（1）联邦学习到底是什么？

（2）联邦学习如何保护用户的隐私安全？

（3）联邦学习如何应用于实际业务场景中？

快来和我一起阅读本文吧，你就能更好地理解Ta的好处！

在数据隐私保护的大背景下，联邦学习受到了学术界和工业界越来越多的关注。

本文首先介绍联邦学习的基本概念，以及联邦学习中的数据安全，并探讨如何在vivo实际业务场景中，使用联邦学习技术，保护用户隐私。

一、联邦学习的概念

2016年，Google在《Federated Learning: Strategies for Improving Communication Efficiency》论文中，首先提出“联邦学习”（Federated Learning）的概念，该方法能够联合分布于多个移动终端上的数据，实现云端模型的训练。联邦学习的核心，在于模型中心化，数据去中心化。其目的是保护用户隐私与数据安全。

主要流程如下：

Step 1：Server分发初始模型参数给Clients

Step 2：Client利用自己拥有的数据在本地训练模型

Step 3：Client将本地获得的模型参数更新发送给Server

Step 4：Server将收到的模型参数更新进行融合（如加权平均）

Step 5：Server将融合所得的模型参数再分发给Clients，回到Step 2

重复Step 2 ~ Step 5，直到模型收敛，或者达到迭代次数限制，或者达到训练时间限制

2019年，香港科技大学杨强教授在《Federated Machine Learning: Concept and Applications》一文中，根据实施方式和应用场景的不同，将联邦学习分为横向联邦学习（Horizontal）和纵向联邦学习（Vertical）。两者的区别如下图所示：

横向联邦学习：特征维度相同，样本聚合

纵向联邦学习：样本相同，特征维度聚合

谷歌提出的联邦学习，属于横向联邦学习的一种。其特点是数据特征维度相同，联邦学习可以聚合不同终端设备上的数据，进行模型训练，主要是解决数据量不足的问题。

纵向联邦学习，则一般应用于不同企业、机构间的数据共享。特点是同一用户在不同的机构或企业会有不同的数据特征维度，可以聚合不同特征维度的数据，进行模型训练，主要解决特征维度不足的问题。

本文中主要讨论横向联邦学习。

联邦学习自提出以来，不仅吸引了学术界和工业界越来越多的关注，而且逐渐开始应用于实践。以下是一些业界的联邦学习框架：

工业界联邦学习框架

二、联邦学习的安全

在横向联邦学习中，手机端上传到云端的是梯度信息。那么，梯度是否会泄露用户原始数据的信息呢？在《Privacy Preserving Deep Learning via Additively Homomorphic Encryption》一文中，作者提出，使用梯度信息，可能会重构出用户原始数据特征。因此，为了保护用户的数据安全，需要对梯度信息进行进一步保护。在本文中，作者提出了使用加法同态加密算法，保护梯度信息。

除此之外，在《Practical Secure Aggregation for Privacy-Preserving Machine Learning》一文中，Google 提出安全聚合(Secure Aggregation)方法，可以在无精度损失的情况下，实现梯度信息的聚合。另外，使用差分隐私技术，对梯度信息加差分扰动，也可以保护梯度信息，具体参见Apple 2017年提出的论文《Differentially Private Federated Learning: A Client Level Perspective》。

安全聚合

谷歌提出的安全聚合，用于多方计算中的各参与方在不泄露自身数据情况下，进行数据整合。在联邦学习中，由服务端收集每个用户的模型梯度信息，并进行聚合操作。安全聚合保证了在上述过程中，服务端仅能得到所有用户梯度信息聚合后的结果，而无法获得聚合前某一个用户的原始梯度信息。

安全聚合具有以下的优势：

1. 无精度损失

2. 安全性高

3. 能够应对用户中途掉线的情况、鲁棒性强

“半诚实”假设：

在安全聚合中，需要所有参与方（包括服务端和用户端）符合“半诚实假设”（honest-but-curious），即通信协议中的合法参与者，不会违反通信协议中的条规，但是会尝试从合法接收的消息中获取所有可能的信息。一个“honest-but-curious”的参与者不会进行恶意行为，如篡改上传数据、说谎等，同时服务端也不会和用户端串通。

如果用户是恶意的，他们有能力在不被检测到的情况下偏倚聚合结果，甚至违反协议条规来取得其他用户的数据或信息，那么对于这一类用户，安全聚合并不能完全保证安全性。

传统的联邦学习与加入安全聚合的联邦学习

加入安全聚合机制后，服务端可以在不知道每个用户上传的原始梯度信息的前提下，得到所有用户聚合后的梯度信息。

安全聚合的基本思路：

服务端对用户提前编号，对于每两个用户u和v，基于Diffie-Hellman秘钥交换算法构造一个双方共同维护的共享秘钥

。用户u将他的原始明文信息

加上所有与其他用户构造的共享秘钥作为扰动，生成一个密文

，并将其上传至服务端。

当所有用户上传密文后，服务端将所有密文求和，那么所有扰动将被抵消，求和结果即为所有明文的求和结果，服务端得到聚合结果，同时每个用户的原始明文并未被暴露。

安全聚合中服务端的聚合过程

然而，这个过程在真实场景中，会有许多不确定的因素，比如用户掉线、通信延迟等，导致信息泄露或者无法完成聚合等。谷歌为了解决这些问题，增加了额外的端云通信轮次，并使用Shamir t-out-of-n 秘密共享算法与一个额外的扰动变量，以确保聚合结果的正确和信息安全，在完整安全聚合框架中，一次聚合所需要的通信轮次达到了5次。

安全聚合既安全又无精度损失，但也存在一些劣势，导致其理论建立后，鲜有联邦学习架构真正使用谷歌这套完整的安全框架，其劣势主要体现在：

1．架构复杂，工程量大；

2．计算量大，当数据维度为m，用户数为n时，完成一次聚合，每个用户的计算量为

，服务端的计算量为

。

差分隐私

另一种用于联邦学习的安全技术为差分隐私技术。差分隐私拥有严谨的统计学模型，极大地方便了数学工具的使用以及定量分析和证明。差分隐私引起理论计算机科学、数据库与数据挖掘、机器学习等多个领域的关注，如今在深度学习、联邦学习的应用也较多。

差分隐私的定义：

一个随机算法

，若对于任意的邻近数据集输入

，和任意的输出集合

，满足

则M是

-差分隐私算法，或称算法M可以提供

-差分隐私保护，其中

>0。

邻近数据集，是指相似性很高的两个数据集，例如仅有一条数据不一样的两个数据集。对于随机算法M，差分隐私描述的就是，将两个相似的数据集作随机映射后，两者的分布难以区分，使得观察者分不清最终的输出是由哪个数据集产生的，从而达到隐私保护的目的。定义中的

，可以理解为隐私保护的程度，其值越小隐私保护程度越高，隐私的标准越严格。

那么，如何构造随机算法来实现差分隐私呢？

最简单的方法，就是在输入或输出上加入随机化的噪声，将真实数据掩盖掉。比较常用的是加拉普拉斯噪声（Laplace noise），由于Laplace分布的数学性质正好与差分隐私定义相契合，因此，很多研究和应用都采用了此种噪声。

差分隐私用于数据库的保护

除了上述的差分隐私定义，还有一种将条件放宽的差分隐私定义：

如果一个随机算法

，若对于任意的邻近数据集输入

，和任意的输出集合

，满足

那么，M是

-差分隐私算法，或称算法M可以提供

-差分隐私保护。

要构造这种差分隐私的算法，可以使用高斯噪声（Gaussian noise）。考虑期望为0，方差为

的Gaussian分布

，当

时，随机算法

可以提供

-差分隐私保护。

用户可以在上传梯度信息前，利用差分隐私算法，对自己的梯度信息施加满足条件的差分扰动，服务端在得到加噪数据后，对所有用户的数据进行聚合。

差分隐私的优缺点显而易见，其优势是简单易用，并且计算量小；缺点是加入的噪声会使得最终的输出结果不准确。所以说，差分隐私是一种以精度损失为代价换取隐私保护的机制，在特定的研究和应用中，需要权衡好精度和隐私保护之间的得失。

三、联邦学习平台

AI已经成为智能手机的必备属性，而数据是智能化的产品与服务的重要基础。与此同时，数据也是用户的重要资产。那么，如何在保护用户数据隐私的前提下，为用户提供AI服务能力，成为智慧手机发展的一个关键挑战。

结合vivo自身的业务特点，设计了联邦学习平台，框架如下图所示。

该联邦学习平台主要实现了以下功能：

● 模型中心化：云端同步，设备共享。

● 数据去中心化：数据存在用户手机上。

● 终端训练：部分用户用于训练，部分用户用于测试。

● 模型更新：端侧模型由云端更新下发。

主要流程如下：

① 将设计好的算法模型下发到用户终端设备上，在终端设备上训练算法模型。

② 得到梯度更新后，使用差分隐私算法，增加差分扰动后上传。

③ 云端对接收到的梯度信息进行聚合，更新云端模型。

④ 然后，下发新模型到用户终端设备。

⑤ 重复以上步骤，直到预设停止条件。

技术特点

1、调度优化

我们使用后台调度框架，在手机充电、电量充足、灭屏且连接wifi等前提条件下，进行模型的训练。同时，通过进程调度策略，降低训练进程优先级，优先保证用户前台任务的调度，从而最大幅度降低对用户手机正常使用的干扰。

2、性能优化

vivo自研的移动端AI 计算加速平台VCAP（vivo Computation Acceleration Platform），已实现了深度学习模型的终端训练，支持主流算子。VCAP推理性能和训练性能行业领先，并在持续优化中。

3、差分隐私

我们在联邦学习平台中采用了差分隐私技术，保护梯度信息。如前文所述，差分隐私存在一定的精度损失，但是在联邦学习实验中，我们发现其并不影响模型的训练效果。

4、同步训练

我们联邦学习平台的训练方案，类似于分布式训练中的同步训练方案。终端在使用本地数据训练之前，会与云端同步最新模型信息，并基于最新的模型训练。云端会聚合基于同一模型训练得到的梯度更新，从而能够保证模型训练的收敛效果，并减少设备掉线带来的影响。

5、在线测试

在通常训练中，每训练完若干个epoch，会使用验证集进行一次模型测试。在联邦学习中，由于数据保留在手机端，因此训练集和验证集都在手机端。当完成若干个epoch的训练后，将进入验证阶段，此阶段将选择部分用户手机中的数据作为验证数据集，在手机终端中执行模型的测试，并将测试结果上报云端，由云端统计得出该版本模型的验证准确率。

四、联邦学习实验

CTR（点击率预估）是联邦学习应用的一个典型场景，其特点是数据可以在终端产生，并通过终端上的用户交互，产生样本标签。我们基于点击预估数据集，使用我们的联邦学习框架，进行了离线的联邦学习模拟实验。实验结果及说明如下：

数据描述

2-classes的点击预测分类任务

训练数据集：22197份样本

测试数据集：5550份样本

模型设计：embedding层+ textCNN层 + FC层

baseline（使用全量数据训练）准确率：0.755

baseline训练曲线

联邦学习设置

该场景下，每一条数据都对应了用户id，因此可以根据用户id分配数据。最终将数据一共分配给了2430个模拟的移动终端，每个移动终端上的数据量不同，多则100多条，少则就1条。

该模拟方式符合真实场景下的训练环境。

我们模拟了不同的参与训练终端设备数的情况，由于总设备数已经固定，因此仅调整每轮参与训练的设备数。

联邦学习训练曲线

我们选取2430个用户，分别测试以下场景：每轮选取100/200/300/500/1000/2000个用户参与训练并且在特定回合加入差分隐私。gs10表示在第10回合加入差分隐私，ngm表示全程不加入差分隐私。

最终可以看到：

联邦学习的训练效果(0.7左右)，最终达到了接近baseline(0.755)的效果
差分隐私的加入并没有影响训练的进行
每轮训练选择不同的用户数，对模型训练会有不同的影响，这是联邦训练的一个超参数。

当然，在真实的线上环境中，可以考虑选取数据质量较好的用户，参与联邦学习训练和梯度聚合，来保证较好的训练效果。

五、业务实践

在智能通知、用户意图预测等实际业务场景中，我们探索了联邦学习平台的业务落地，并取得了初步的成果。联邦学习技术能够解决隐私数据保护的情况下，AI算法训练的问题，实现了用户隐私保护和数据安全合规。在后续工作中，我们还将在更多业务场景中，使用联邦学习技术，在保护用户隐私的前提下，为用户提供更加智能的产品和服务。

大家在这个问题上如果有什么困惑或者想法，欢迎在评论区和我们分享~

-MORE-|更多精彩文章

Embedding向量召回在vivo个性化推荐中的实践

EmbeddingTable-CTR预估中大规模稀疏参数解决方案

| 扫一扫 | 查看更多vivo AI 独家内容噢

点亮“在看” ，让Ta秒懂你对好文的好品味！

继续滑动看下一个