[发明专利]一种基于类别分布感知的非平衡数据联邦学习方法

权利要求书

1.一种基于类别分布感知的非平衡数据联邦学习方法，其特征在于，包括：

步骤11，本地用户共享本地模型的网络结构，并根据本地数据集计算类别分布感知因子；

步骤12，本地用户建立本地模型训练过程中模型参数与损失函数的关联模型，使用所述步骤11得到的类别分布感知因子与绝对权重差值和构造类别分布感知的交叉熵损失函数，完成本地模型更新，并将训练完成的本地模型梯度作为共享参数上传到服务器；

步骤13，服务器聚合本地用户上传的由类别分布感知的交叉熵损失函数计算得到的本地模型梯度，完成全局模型更新；

步骤14，本地用户与服务器进行全局通信，从服务器下载更新的全局模型，服务器使用非平衡数据集验证全局模型准确度是否大于预先设定的阈值，若是则执行步骤15，若否则重复执行步骤12和步骤13；

步骤15，完成非平衡数据联邦学习训练过程。

2.根据权利要求1所述的基于类别分布感知的非平衡数据联邦学习方法，其特征在于，所述步骤11中，若联邦学习中共有K个本地用户C_k,1≤k≤K，则每个本地用户C_k拥有包含n_k个数据的本地数据集D_k,1≤k≤K，每个本地数据集D_k含有M个类别的数据，所述本地数据集的数据呈非平衡分布；

本地用户共享的本地模型的网络结构为ResNet-20，则按以下公式根据本地数据集计算类别分布感知因子α_m为：

其中，p_m∈[0,1]为第m类的数据在本地数据集D_k中所占的比例；τ是取值为1.02的参数；α_m的取值范围为[1.43,50.49]。

3.根据权利要求1或2所述的基于类别分布感知的非平衡数据联邦学习方法，其特征在于，所述步骤12中，本地用户按以下方式建立本地模型训练过程中模型参数与损失函数的关联模型，使用类别分布感知因子与绝对权重差值和构造类别分布感知的交叉熵损失函数，完成本地模型更新，并将训练完成的本地模型梯度作为用于上传到服务器的共享参数，包括：

步骤121，在每次本地模型更新过程中每个本地用户的本地模型的参数由w更新为本地模型使用的类别分布感知的交叉熵损失函数用泰勒级数表示为：

其中，z_i为本地数据集中的数据；

忽略公式(2)中的高阶项，本地用户建立本地模型训练过程中模型参数与类别分布感知的交叉熵损失函数的关联模型为：

步骤122，每个本地用户按以下公式(4)计算第q次本地模型更新时的绝对权重差值和β_q为：

其中，为在第q次本地模型更新时的本地模型中最后一个全连接层的参数；为在第q-1次本地模型更新时的本地模型中最后一个全连接层的参数，本地模型中最后一个全连接层有M×L个参数；根据公式(3)，随着本地模型的收敛，绝对权重差值和β_q趋近于零；

步骤123，本地用户按以下公式(5)使用类别分布感知因子α_m与绝对权重差值和β_q构造类别分布感知的交叉熵损失函数为：

其中，w^(q)为在第q次本地模型更新时的本地模型参数；y_i(m)为数据z_i对应于第m类的真实类别标签；为数据z_i对应于第m类的预测类别标签；λ_m,q为类别感知权重，λ_m,q表示为：

公式(6)中，为归一化类别分布感知因子，

步骤124，第k个本地用户使用类别分布感知的交叉熵损失函数完成第q+1次本地模型更新，表示为：

其中，为第k个本地用户在完成第q+1次本地模型更新时的本地模型参数；为第k个本地用户在完成第q次本地模型更新时的本地模型参数；为第k个本地用户在完成第q次本地模型更新时由类别分布感知的交叉熵损失函数计算得到的本地模型梯度；η_L为本地模型的更新学习率；

步骤125，每个本地用户重复执行步骤122)、步骤123)和步骤124)直到本地模型更新次数达到本地模型更新轮数T_L时为止，并将训练完成的本地模型梯度作为共享参数上传到服务器。