[发明专利]一种基于类别分布感知的非平衡数据联邦学习方法

说明书

本发明公开一种基于类别分布感知的非平衡数据联邦学习方法，包括：步骤11，本地用户共享本地模型结构，根据本地数据集计算类别分布感知因子；步骤12，本地用户建立本地模型训练中模型参数与损失函数的关联模型，用类别分布感知因子与绝对权重差值和构造类别分布感知的交叉熵损失函数，更新本地模型，将本地模型梯度上传服务器；步骤13，服务器聚合本地用户的交叉熵损失函数计算出本地模型梯度，更新全局模型；步骤14，本地用户从服务器下载全局模型，服务器用非平衡数据集验证全局模型准确度是否大于预设阈值，若是执行步骤15，若否重复执行步骤12、13；步骤15，完成非平衡数据联邦学习训练。该方法能提高非平衡数据联邦学习全局模型的准确度。

技术领域

本发明涉及深度学习领域，尤其涉及一种基于类别分布感知的非平衡数据联邦学习方法。

背景技术

随着计算资源和数据资源的丰富，深度学习得到充分的发展并被广泛应用于各个实际场景，如物体识别、机器翻译和个性化推荐等。深度学习的成功应用离不开具有足够规模的数据集。然而，实际场景中单个本地用户拥有的本地数据往往无法达到足够规模。因此，有必要充分利用分布式本地数据。联邦学习需要分布式本地用户使用其本地数据协同训练全局模型，全局模型准确度依赖于本地用户数据的分布情况。由于本地用户所处环境和数据采集习惯不一致，本地数据通常呈现非平衡分布。在非平衡数据分布情况下，即与每种数据类别对应的数据数目存在差异时，联邦学习的全局模型准确度往往会受到不利影响，对于物体识别而言，也影响了全局模型对物体识别的准确性。

有鉴于此，特提出本发明。

发明内容

本发明的目的是提供了一种基于类别分布感知的非平衡数据联邦学习方法，通过建立本地模型训练过程中模型参数与损失函数的关联模型，计算类别分布感知因子，并构造类别分布感知的交叉熵损失函数，很好地解决了联邦学习方法训练过程中的本地用户数据非平衡分布导致的全局模型准确度下降，无法准确识别物体类别的问题。

本发明的目的是通过以下技术方案实现的：

一种基于类别分布感知的非平衡数据联邦学习方法，包括：

步骤11，本地用户共享本地模型的网络结构，并根据本地数据集计算类别分布感知因子；

步骤12，本地用户建立本地模型训练过程中模型参数与损失函数的关联模型，使用所述步骤11得到的类别分布感知因子与绝对权重差值和构造类别分布感知的交叉熵损失函数，完成本地模型更新，并将训练完成的本地模型梯度作为共享参数上传到服务器；

步骤13，服务器聚合本地用户上传的由类别分布感知的交叉熵损失函数计算得到的本地模型梯度，完成全局模型更新；

步骤14，本地用户与服务器进行全局通信，从服务器下载更新的全局模型，服务器使用非平衡数据集验证全局模型准确度是否大于预先设定的阈值，若是则执行步骤15，若否则重复执行步骤12和步骤13；

步骤15，完成非平衡数据联邦学习训练过程。

与现有技术相比，本发明所提供的基于类别分布感知的非平衡数据联邦学习方法，其有益效果包括：

通过建立本地模型训练过程中模型参数与损失函数的关联模型，计算类别分布感知因子，并构造类别分布感知的交叉熵损失函数，从而提高非平衡数据联邦学习的全局模型准确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于类别分布感知的非平衡数据联邦学习方法的流程图。

图2为本发明实施例提供的基于类别分布感知的非平衡数据联邦学习方法的性能对比示意图。