[发明专利]一种联邦学习中基于局部模型梯度的用户筛选方法、系统、设备及存储介质

说明书

本发明涉及一种联邦学习中基于局部模型梯度的用户筛选方法、系统、设备及存储介质,当服务器接收到各个用户传输过来的局部模型梯度矩阵后，首先将各个用户的局部模型梯度矩阵按行或按列展开成一个向量，然后利用PCA对向量进行降维，再利用DBSCAN聚类方法进行聚类，得到聚类结果中数量最多的一类，再求得此类中所有降维局部模型梯度的几何中心点，最后根据每个用户的降维局部模型梯度与上述几何中心点的距离选择用户，选择离中心点最近的部分用户的梯度用来更新全局模型。该筛选方法能够有效筛选基于高质量数据计算的局部模型梯度，提高联邦学习系统的鲁棒性。

技术领域

本发明涉及一种联邦学习中基于局部模型梯度的用户筛选方法、系统、设备及存储介质，属于分布式机器学习领域。

背景技术

传统的机器学习方法要求将训练所用的数据集中在一台设备或一个数据中心，然而，由于对数据隐私的保护和无线通信资源的限制，将所有用于学习的数据传输到中心设备或数据中心对用户来说是不切实际的。这促使了分布式机器学习的出现，如图1所示，联邦学习是一种分布式机器学习算法，它可以使用户在本地收集数据，训练模型，只需要把局部模型参数传输给中央服务器，由中央服务器完成模型的整合，再广播给所有用户，训练过程一共进行t代，直至模型收敛。[S.A.Rahman,H.Tout,H.Ould-Slimane,A.Mourad,C.Talhiand M.Guizani,A Survey on Federated Learning:The Journey from Centralized toDistributed On-Site Learning and Beyond,in IEEE Internet of Things Journal,doi:10.1109/JIOT.2020.3030072.]。

然而，某些用户可能会由于特殊原因采集到受噪声或干扰的数据用来计算本地模型更新，或者受限与传输信道质量的影响，向服务器传输本地模型更新时也可能出现丢包或误码的现象；此外，由于服务器无法观测到用户数据，联邦学习很容易受到恶意攻击，如多个恶意用户将虚假训练样本注入自己的训练样本中用于本地模型的训练，这些虚假样本包括：训练数据被加入高斯噪声，训练标签被恶意修改等，这些具有噪声的局部模型更新参数和恶意攻击可能对联邦学习的过程产生严重影响。[D.Cao,S.Chang,Z.Lin,G.Liu andD.Sun,Understanding Distributed Poisoning Attack in Federated Learning,2019IEEE 25th International Conference on Parallel and Distributed Systems(ICPADS),Tianjin,China,2019,pp.233-239,doi:10.1109/ICPADS47876.2019.00042.]。

发明内容

针对现有技术的不足，本发明提供了一种联邦学习中基于局部模型梯度的用户筛选方法，该方法能够通过对用户传递到服务器的局部模型梯度进行用户数据质量测评，从而在训练过程中选择基于高质量数据计算的局部模型，用来进一步更新全局模型。当服务器接收到各个用户传输过来的局部模型梯度矩阵后，首先将各个用户的局部模型梯度矩阵按行或按列展开成一个向量，然后利用PCA对展开的局部模型梯度的向量形式进行降维，接下来对所有降维的局部模型梯度利用DBSCAN聚类方法进行聚类，得到聚类结果中数量最多的一类，再求得此类中所有降维局部模型梯度的几何中心点，最后根据每个用户的降维局部模型梯度与上述几何中心点的距离选择用户，选择离中心点最近的部分用户的梯度用来更新全局模型。该筛选方法能够有效筛选基于高质量数据计算的局部模型梯度，提高联邦学习系统的鲁棒性。

术语解释：