[发明专利]一种基于联邦学习的噪声标签修正方法

权利要求书

1.一种基于联邦学习的噪声标签修正方法，其特征在于，包括：

将客户端根据本地训练数据更新的本地模型参数和对应的样本数据量发送给服务端；

获取服务端根据所述客户端以及其他客户端更新的本地模型参数和对应的样本数据量计算的全局模型参数；

由所述客户端根据所述全局模型参数和本地训练数据，计算指示不同类别的平均预测概率的多个本地类基准并发送给服务端；

获取服务端根据所述多个本地类基准计算的多个全局类基准，并基于所述全局模型参数和全局类基准对所述客户端的本地训练数据进行噪声标签修正；

其中，对所述客户端的本地训练数据进行噪声标签修正的步骤包括：

根据所述全局模型参数对本地训练数据中的每个样本进行预测得到预测结果；

根据预测结果和全局类基准生成每个样本的伪标签；

计算伪标签与当前标签不一致的样本的边际值，所述边际值等于根据所述全局模型参数对该样本预测得到的最大预测概率与该样本的当前标签对应的预测概率之差；

将边际值大于预定阈值的样本的当前标签修改为伪标签。

2.根据权利要求1所述的噪声标签修正方法，其特征在于，所述样本数据量包括本次更新本地模型所采用的本地训练数据的第一样本量，所述全局模型参数是由服务端对所有客户端的本地模型参数进行加权求和得到的，其中，所述客户端的第一样本量除以所述客户端以及其他客户端的第一样本量之和作为该所述客户端的本地模型参数的权值。

3.根据权利要求1所述的噪声标签修正方法，其特征在于，所述由所述客户端根据所述全局模型参数和本地训练数据，计算指示不同类别的平均预测概率的多个本地类基准并发送给服务端的步骤包括：

在所述客户端通过最新全局模型参数对本地训练数据进行预测，得到本地训练数据中每个样本在各个类别的预测概率；

基于每个给定标签类下所有样本属于该给定标签类的预测概率计算平均值，得到该给定标签类对应的本地类基准。

4.根据权利要求1或权利要求3所述的噪声标签修正方法，其特征在于，所述样本数据量包括本次更新本地模型所采用的本地训练数据中每个给定标签类下的第二样本量，所述多个全局类基准包括每个给定标签类的全局类基准，

每个给定标签类的全局类基准是由服务端对所有客户端的相应类别的本地类基准进行加权求和得到的，其中，所述客户端相应类别下的第二样本量除以所述客户端及其他客户端在该相应类别下的第二样本量之和作为该所述客户端的相应类别的本地类基准的权值。

5.根据权利要求1所述的噪声标签修正方法，其特征在于，所述根据预测结果和全局类基准生成每个样本的伪标签的步骤包括：

在一个样本的预测结果中有任何类别的预测概率超过该类别的全局类基准时，该样本的伪标签为所有超过全局类基准的类中最大预测概率对应的类别，否则，该样本伪标签为预测结果中最大预测概率对应的类别。

6.根据权利要求4所述的噪声标签修正方法，其特征在于，全局类基准的计算方法如下：

其中，表示在第t轮训练时第k个客户端的类别l的本地类基准，表示第k个客户端的本地训练数据对应的数据集D^k中属于给定标签类l的所有样本的集合，表示全局模型在样本给定标签类l的预测概率，x表示特征数据，y表示类别，表示第t轮训练时对应的全局模型参数，n表示第n个客户端，N表示客户端的总数。

7.一种联邦学习方法，其特征在于，包括：

组织多个客户端进行联邦学习，在联邦学习的过程中各客户端利用权利要求1-6任一项所述基于联邦学习的噪声标签修正方法对本地训练数据的噪声标签进行修正以及获得全局模型参数；

相应客户端利用获得的全局模型参数替换本地模型参数，利用修正噪声标签后的本地训练数据对本地模型进行训练，更新本地模型参数；

在服务端根据多个客户端更新的本地模型参数更新全局模型参数。