[发明专利]联邦学习的中毒攻击检测方法、装置及设备

说明书

本申请提供一种联邦学习的模型中毒攻击检测方法、装置及设备，涉及人工智能技术领域。该方法包括：接收参与联邦学习的至少一个终端设备发送的终端设备侧模型的模型参数；根据各终端设备侧模型的模型参数进行聚合处理，得到服务器侧的聚合模型；对聚合模型进行反演，得到聚合模型的反演数据集；根据聚合模型的反演数据集生成中毒补丁；根据中毒补丁，确定聚合模型是否是正常模型。该方法可以保证对联邦学习的模型中毒攻击检测的效率，还可以保证各终端设备中的本地数据的安全隐私。

技术领域

本申请涉及人工智能技术领域，具体而言，涉及一种联邦学习的中毒攻击检测方法、装置及设备。

背景技术

联邦学习(Federated Learning)是一种新兴的人工智能基础技术，在2016年由谷歌最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。其中，联邦学习可使用的机器学习算法不局限于神经网络，还包括随机森林等重要算法。但是，研究者发现联邦学习容易受到内部参与者的攻击，称为中毒攻击，攻击者可以扮演良性参与者上传中毒的更新到服务器，以便他可以轻松地影响性能全局模型。

目前，业界缺少有效检测联邦学习的中毒攻击的方法，从而无法达到防范恶意参与者攻击联邦学习模型的目的，使得恶意参与者攻击联邦学习模型的成功率高。因此，如何进行联邦学习的中毒攻击检测，成为当前亟需解决的问题。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种联邦学习的中毒攻击检测方法、装置及设备，以解决现有技中不存在如何检测联邦学习中毒攻击的方法的问题，以提升寻找中毒后门的效率，从而可以达到防范恶意参与者攻击联邦学习模型的目的。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种联邦学习的模型中毒攻击检测方法，其特征在于，所述方法包括：

接收参与联邦学习的至少一个终端设备发送的终端设备侧模型的模型参数；

根据各所述终端设备侧模型的模型参数进行聚合处理，得到服务器侧的聚合模型；

对所述聚合模型进行反演，得到所述聚合模型的反演数据集；根据所述聚合模型的反演数据集生成中毒补丁；

根据所述中毒补丁，确定所述聚合模型是否是正常模型。

可选地，所述对所述聚合模型进行反演，得到所述聚合模型的反演数据集，包括：

使用预设的第一目标函数，对所述聚合模型进行反演，得到所述聚合模型的反演数据集。

可选地，所述根据所述聚合模型的反演数据集，生成中毒补丁，包括：

根据所述聚合模型的反演数据集，以及所述聚合模型中的受损神经元生成中毒补丁。

可选地，所述根据所述聚合模型的反演数据集，以及所述聚合模型中的受损神经元生成中毒补丁之前，还包括：

采用预设的第二目标函数，得到所述聚合模型中的受损神经元；其中，所述受损神经元在特定的输入下会被异常激活。

可选地，所述根据各所述终端设备侧模型的模型参数进行聚合处理，得到服务器侧的聚合模型，包括：

采用预设的模型聚合函数，对各所述终端设备侧模型的模型参数进行聚合处理，得到服务器侧的聚合模型。

可选地，所述根据所述中毒补丁，确定所述聚合模型是否是正常模型，包括：

确定所述中毒补丁的补丁评价指标值；根据所述补丁指标值，确定所述聚合模型是否是正常模型。