[发明专利]基于异构数据的联邦学习系统

权利要求书

1.一种基于异构数据的联邦学习系统，其特征在于，

包括中央服务器、K个客户端、存储有计算机程序的存储器和处理器，所述中央服务器存储有每轮联邦学习得的全局控制变量S、全局模型参数W，所述全局控制变量S用于记录本轮全局模型更新的方向；所述客户端存储有每次参与联邦学习得到每一参与客户端得到的本地控制变量Sⁱ，所述本地控制变量Sⁱ用于记录客户端本次参与联邦学习训练的本地模型更新的方向，i的取值为1到K；所述处理器在执行所述计算机程序时，实现以下步骤：

步骤S1、初始化中央服务器的全局联邦模型的参数W₀、全局控制变量S₀、全局学习率η_g，初始化每一客户端的本地控制变量本地学习率η_u，初始化t＝1；

步骤S2、在第t轮训练中，随机选择m个客户端，mK,将t-1轮对应的全局模型参数w_t-1和全局控制变量s_t-1发送给所有所选客户端，将每一所选客户端的当前本地模型yⁱ参数更新为w_t-1；

步骤S3、基于每一所选客户端的本地数据对yⁱ进行本地模型训练，根据每一所选客户端上次参与联邦学习本地控制变量预设的本地更新次数Qⁱ、上一轮全局控制变量s_t-1获取本地模型训练过程中每一所选客户端在本轮训练得到的本地模型参数用于表示本轮所有本地更新的梯度的模长的总和和本轮本地控制变量将存储至对应客户端本地，其中，n表示截止第t轮训练所选客户端参与联邦学习的次数，x表示对应的联邦学习轮次，其中，n-1小于等于x；

步骤S4、所述服务器从每一所选客户端获取对应的和获取本轮全局模型参数W_t和全局控制变量S_t，然后将W_t和S_t更新存储至所述中央服务器中；

步骤S5、判断全局模型是否收敛，如果收敛，则停止模型训练，否则，令t＝t+1,返回步骤S2。

2.根据权利要求1所述的系统，其特征在于，

所述步骤S1包括：

步骤S11、随机初始化全局联邦模型的参数W₀、全局控制变量S₀、每一客户端的本地控制变量

步骤S12、将全局学习率η_g设置为第一预设数值，将每一客户端的本地全局学习率η_u均设置为第二预设数值。

3.根据权利要求2所述的系统，其特征在于，

所述第一预设数值为0.01，所述第二预设数值为0.03。

4.根据权利要求1所述的系统，其特征在于，

所述步骤S3中包括：

步骤S31、将所选客户端的更新次数k初始化为1，

步骤S32、获取每一所选客户端第k次更新本地模型的损失函数值基于得到第k次更新本地模型对应的梯度

步骤S33、基于η_u、s_t-1和更新本地模型得到

步骤S34、判断k是否小于等于Qⁱ，若是，则令k＝k+1，返回步骤S32，否则，将当前确定为本轮训练得到的本地模型参数

5.根据权利要求4所述的系统，其特征在于，

所述步骤S31中，采用mini-batch SGD优化算法获取一次更新对应的g_i(y_i)，F_i(y_i)表示所选客户端上的一个batch数据的损失函数值。

6.根据权利要求4所述的系统，其特征在于，

所述步骤S3还包括：

步骤S34、累加每一所选客户端更新本地模型时所有梯度的模长，得到本轮所有本地更新的梯度的模长的总和