[发明专利]一种可防御后门攻击的联邦学习图像分类方法

说明书

本发明公开了一种可防御后门攻击的联邦学习图像分类方法，采用矩阵降维和聚类算法对Worker节点提交的梯度进行处理，最后选择正常的Worker节点提交的梯度参与聚合，从而完全避免了后门植入全局模型的可能性，此外，本发明所用的方法是一种无监督方法，适用于联邦学习场景，可广泛应用在联邦学习防御中，提高联邦学习的鲁棒性。

技术领域

本发明属于机器学习安全的技术领域，具体涉及一种可防御后门攻击的联邦学习图像分类方法。

背景技术

数据孤岛和数据隐私是限制人工智能技术发展的主要因素之一。联邦学习的提出突破了这一限制，联邦学习是一类专门针对分布式数据的机器学习框架，模型训练参与者可以在不共享数据的前提下协同训练全局模型，在保证数据隐私的同时打破数据孤岛，加速机器学习模型训练，可适用于非平衡和非独立同分布(non-Independent andIdentically Distributed,non-IID)的数据。许多的机器学习任务都可以利用联邦学习的方式进行训练，其中就包括了图像分类任务。

在联邦学习中，典型的训练结构为包含服务器节点(Server)和工作节点(Worker)的参数服务器结构(Parameter Server，PS)。在利用PS结构进行模型训练时，主要包括四个步骤：第一步，每个Worker节点收集用于本地训练的图像数据，同时从Server节点接收全局模型，利用接收的全局模型进行本地训练，得到本地模型的梯度；第二步，Worker节点把本地模型的梯度发送给Server节点来进行全局模型更新；第三步，Server节点利用接收的各个Worker的梯度更新出下一轮迭代的全局模型，第四步，Server节点将更新后的全局模型广播至所有Worker节点并开始下一次的迭代更新过程。在基于PS结构的联邦学习中，Worker节点经常会部署在边缘节点，而Server节点则部署于云端。

联邦平均算法(Federated Average，FedAvg)是一种经典的聚合算法，其表达式为：

式中w_t为第t轮全局模型的参数更新，Δw_k为Worker节点k的梯度，K为参与聚合的Worker节点数量，n_k为Worker节点k的本地数据集的数据量，且有

Worker节点利用接收的最新全局模型，结合本地数据和训练方法(例如Stochastic Gradient Descent，SGD)进行训练，而后把梯度上传给Server节点进行聚合。

然而，训练数据的分布式和保护隐私特性使联邦学习容易遭受攻击。在联邦学习中，最典型的攻击方式是后门攻击(Backdoor Attack)。在模型训练过程中，攻击者可把带有后门的图像数据添加到某个Worker节点的本地数据集中，该Worker节点利用被污染的本地数据进行训练，后门则被植入到本地模型中，当Server节点利用该Worker节点的梯度进行全局模型更新时，后门则被植入到全局模型中，当利用全局模型进行图像分类预测时，带有后门的图像样本则被误分类为攻击者指定的类别。

在PS结构下，解决联邦学习安全问题的主要方法之一是在Server节点设计有效的安全聚合算法，减弱甚至消除恶意参与者的影响，进而提高联邦学习的鲁棒性。目前，很多算法用于抵御联邦学习中的后门攻击，然而他们有很强的局限性。基于均值或中值的鲁棒性算法面对超过一半数量的恶意攻击者时则完全失效，且不适用于non-IID场景，代表性的算法有Multi-Krum、GeoMed和RFA等。此外，一些算法则需要模型梯度以外的信息训练恶意检测器模型或甄别攻击者，违背了隐私保护原则，代表性的算法有Zeno和spectraldetector等。FoolsGold算法虽然适用于non-IID场景，且不需要假设恶意攻击者的数量少于正常工作者，但是其高度依赖于机器学习模型的选择，不同的机器学习模型会产生截然相反的结果。因此，众多的优异的算法并不能解决联邦学习中的后门攻击问题。

发明内容