[发明专利]一种基于联邦蒸馏学习框架的客户端成员推理攻击方法

说明书

本发明公开了一种基于联邦蒸馏学习框架的客户端成员推理攻击方法，包括(1)采用知识蒸馏通讯增强算法来对联邦学习进行隐私保护方案设计，为满足联邦学习框架对于参与者私有数据隐私保护的需求，本框架通过梯度逻辑层参数转换、客户端知识蒸馏、随机客户端模型上传机制，实现高性能、高稳定性的联邦学习模型以及相应的隐私泄露评估方案；(2)面向知识蒸馏算法增强的联邦学习高隐私保护框架来设计基于客户端的成员推理攻击，利用了基于知识蒸馏的模型行为相似理论，以实现恶意客户端的类影子模型构建。本发明采用高隐私保护性的联邦蒸馏通讯算法以及基于恶意客户端的成员推理攻击方案实现针对具有隐私保护功能的分布式机器学习框架的攻击。

技术领域

本发明属于人工智能安全领域，具体地说是一种基于联邦蒸馏学习框架的客户端成员推理攻击方法。

背景技术

随着移动设备感知和计算能力的增强，新兴技术和应用在边缘网络产生大量数据，对提高隐私和安全提出了新的要求。联邦学习标志着智能物联网应用隐私保护技术的进步，虽然联邦学习可以为参与者的局部训练数据提供隐私保证，但即使是联邦学习框架中的机器学习模型仍然极易受到成员推理攻击。

成员推理攻击在联邦学习框架中取得成功的一个主要原因是，当梯度参数记住有关其训练数据的信息时，容易受到各种推理攻击的攻击。因此，对于训练数据集的成员和非成员，服务器和客户端之间的传输梯度是可以区分的，基于以上理论的研究揭示了联邦学习的固有漏洞，即攻击者可以从公开共享的梯度中获取私有训练数据。

尽管知识蒸馏技术被认为是通过隐藏梯度来解决梯度泄漏的最先进技术，但基于知识蒸馏的联邦学习框架仍然存在客户端级别的成员信息泄漏的风险。同时，在联邦学习中还存在其他隐私泄漏问题。LigengZhu证明了从公开共享的梯度中获得私人训练数据是可能的，其中恶意的攻击者能够从梯度中重建参与者的本地私人数据，这对联邦学习中的隐私保护提出了相当大的挑战。

发明内容

发明目的：一种基于联邦蒸馏学习框架的客户端成员推理攻击方法，解决联邦学习框架中的梯度泄露评估复杂性问题。

发明内容：本发明所述的一种基于联邦蒸馏学习框架的客户端成员推理攻击方法，包括以下步骤：

(1)基于联邦学习框架，采用知识蒸馏技术和随机客户端选取技术，减少联邦学习的通讯开销和隐私泄露；

(2)基于增强的联邦学习知识蒸馏框架，进行参与者隐私泄露程度的分析；

(3)根据联邦学习知识蒸馏框架中存在的本地模型成员信息泄露问题，建立客户端级别的成员推理攻击模型；

(4)根据客户端级别的成员推理攻击模型，建立完整的联邦蒸馏学习成员隐私泄露评估模型。

进一步地，所述步骤(1)实现过程如下：

首先设定参与联邦学习的本地客户端模型和客户端私有数据集，所有参与者的本地模型为异构模型，本地模型的内部结构和细节以及本地私有数据集都不相同，然后联邦通讯算法选取知识蒸馏技术作为客户端模型的优化训练算法以替代存在梯度泄露问题的模型梯度参数训练算法，即将模型梯度参数转化成逻辑层参数，本地客户端模型优化方法由梯度优化转变成逻辑层参数优化，以此实现更高的模型性能和更少通讯开销的联邦学习框架。

进一步地，步骤(2)所述的改进的联邦学习知识蒸馏框架为：