[发明专利]一种基于无线联邦学习的学习模型训练方法

权利要求书

1.一种基于无线联邦学习的学习模型训练方法，应用于图像识别模型，其特征在于，联邦学习系统包括一个任务发布者和一组移动用户，移动用户的集合表示为其中N为移动用户的总个数；n＝1,2,…,N；采用联邦学习对学习模型进行训练的方法包括如6下步骤：

步骤1：以任务发布者发出的奖励R和移动用户n的本地迭代精度ε_n作为变量，采用主从博弈法，确定最佳奖励和移动用户n的最佳本地精度值

步骤2：根据得到的确定移动用户n的本地迭代次数以及全局迭代次数其中η为全局迭代精度，max表示取最大值，θ_n为常数系数，且θ_n＞0；

步骤3：第一次全局迭代时任务发布者将学习模型的初始参数分发给每个移动用户，移动用户n基于本地数据集训练该学习模型，执行π_n次本地迭代后，将训练后的模型参数上传至任务发布者，任务发布者对收到的所有的模型参数进行全局聚合；然后进行下一次全局迭代：任务发布者将上一次全局迭代聚合后的模型参数发送给移动用户移动用户n再次执行π_n次本地迭代；当全局迭代次数达到δ次后，得到训练好的图像识别模型。

2.根据权利要求1所述的一种基于无线联邦学习的学习模型训练方法，其特征在于，所述步骤1中建立如下目标函数：

s.t.0＜ε_n≤1

其中，为移动用户n所得的效益，ε_m为移动用户m的本地迭代精度,β为移动用户为消耗单位能量的支出；代表移动用户n执行一次本地迭代耗费的能量，表示移动用户n参与一次全局迭代需要耗费的通信能量，和的表达式分别如下所示：

α是移动用户的计算芯片组的有效电容参数，c_n表示移动用户n使用单个数据样本执行本地模型训练需要的CPU周期数，D_n为移动用户n的本地数据集的大小，用f_n表示移动用户n为本地模型训练贡献的计算资源；p_n是移动用户n的发射功率，h_n是任务发布者和移动用户n的信道增益，N₀是背景噪声，σ表示用户n上传的学习模型的参数大小；

通过求解上述目标函数，得到每次主从博弈时移动用户n的最佳本地精度的表达式：

其中

建立每次主从博弈时最佳奖励R^*的表达式：

其中，γ表示任务发布者根据训练完成后的单位模型准确度得到的收益，κ是常数系数；

根据表达式R^*以及主从博弈法，计算得到任务发布者最终的最佳奖励和移动用户最终的最佳本地迭代精度

3.根据权利要求1所述的一种基于无线联邦学习的学习模型训练方法，其特征在于，在所述步骤3中进行训练时，全局迭代的损失函数为：

其中D_n为移动用户n的本地数据集的大小，w为学习模型的相关参数矢量，min表示取最小值；，F_n(w)的表达式如下所示：

其中，x_nl为移动用户n的本地数据集中第l组数据中的原始数据，y_nl为移动用户n的本地数据集中第l组数据中与x_nl对应标签向量，f(w,x_nl,y_nl)表示移动用户n在学习模型参数为w的情况下使用第l组数据{x_nl,y_nl}训练学习模型的损失函数；

将第t-1次全局迭代时全局聚合后的参数作为下一次全局迭代时学习模型的参数w^t；用户n在第t次全局迭代中的目标函数的表达式如下所示：

其中，ζ为常数，表示第t次全局迭代时，用户n在训练得到的学习模型的参数与w^t之间的差值；▽F_n(w^t)为F_n(w)在w＝w^t处的梯度值；T为矩阵转置，t＝1,2,…,δ。

4.根据权利要求3所述的一种基于无线联邦学习的学习模型训练方法，其特征在于，所述步骤4中，任务发布者对收到的模型参数采用如下方式进行全局聚合：