[发明专利]一种基于标签重复率的联邦学习梯度防御方法

说明书

本发明涉及人工智能领域，且公开了一种基于标签重复率的联邦学习梯度防御方法，经对梯度泄露数据的关系方程式的秩分析，揭示了批样本中如果存在相同的标签且所获得的标签预测概率相近时，可有效地降低梯度泄露攻击的效果，即难以从梯度中重构出输入样本。因此我们在数据集加载阶段中，对数据集的样本按照标签种类放置在对应的标签桶，然后在标签桶内将样本按置信度放置在对应的置信度层，最后按照标签重复个数的设定来构成样本组合，并打乱样本组合构成新的数据集，该基于标签重复率的联邦学习梯度防御方法，通过对梯度泄露数据的关系方程式的秩分析，从理论上论证了标签重复率对梯度泄露攻击的防御，并在实际应用中得到了验证。

技术领域

本发明涉及人工智能领域，具体为一种基于标签重复率的联邦学习梯度防御方法。

背景技术

联邦学习框架是当前解决数据孤岛问题的主流方案，其通过联合众多数据持有者在数据不离本地的前提下实现了深度学习模型共建。联邦学习以保护本地数据的初衷被提出，其基本思路是各数据持有者(也称参与方)通过本地数据训练参数服务器(又称中心服务器)下发的全局模型，将所计算的模型梯度上传至参数服务器，并由参数服务器负责融合梯度构成新的全局模型。然而近些年的相关研究已表明，联邦学习中参与方所共享的模型梯度信息存在泄露数据的风险，如模型梯度会被逆向出本地的训练数据(下称梯度泄露数据攻击)。然而主流的防御措施差分隐私存在隐私保护和模型可用性之间的权衡问题，倘若引入的噪声强度不恰当，会导致模型无法得到训练或无法起到隐私保护的效果，另外噪声强度的调节在实际应用中缺少指导值且严重依赖于专家经验，为此我们提出了一种基于标签重复率的联邦学习梯度防御方法。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于标签重复率的联邦学习梯度防御方法，通过调整训练样本的布局，实现在联邦学习中的神经网络分类模型上抵御梯度泄露攻击。

(二)技术方案

为实现上述所述目的，本发明提供如下技术方案：一种基于标签重复率的联邦学习梯度防御方法，包括以下步骤：

第一步：选定要参与联邦学习模型构建的本地数据集，设定置信度层个数，重复标签个数；

第二步：根据标签种类的个数，设立相应数量的标签桶，按照标签种类将本地数据集中的样本放置在对应的标签桶中，得到签分桶；

第三步：计算每个样本的置信度，根据置信度的范围，对每个标签桶中的样本进行置信度分层；

第四步：根据重复标签个数，对每个标签桶和置信度层中的样本进行组合，即每个样本组合中的样本个数等于重复标签个数，汇集所有样本组合，并打乱顺序来构成新的数据集，并将其中的样本组合都标记上“未训练”；

第五步：判断数据集中是否存在“未训练”的样本组合；

第六步：待获得参数服务器分发的最新模型，返回第五步。

优选的，所述第二步中的每个桶只放置一种特定标签的样本。

优选的，所述第三步的具体内容如下：在所拥有的最新模型上，计算本地数据集中每个样本的置信度，依据置信度层个数的设定，将每个标签桶的置信度范围进行划分，构成置信度层，每个置信度层只放置符合该置信度范围内的样本，根据样本的置信度范围，将每个标签桶中的样本都放置在相应的置信度层中。

优选的，所述置信度范围在0至1进行划分。

优选的，所述第五步中的具体内容如下：

若数据集中还有“未训练”的样本组合，则根据批大小，从数据集中顺序地选取“未训练”的样本组合，构成待训练的批样本，利用该批样本计算对应的模型梯度，并将其上传给参数服务器，将其中的样本组合都标记上“已训练”，若数据集中没有“未训练”的样本组合，则返回第四步构建新的数据集。