[发明专利]一种分布式联邦学习协同计算方法及系统

权利要求书

1.一种分布式联邦学习协同计算方法，其特征在于，具体包括以下步骤：

进行深度强化学习模型训练；

响应于将训练好的深度强化学习模型分别部署至各边缘服务器，进行联邦学习：

联邦学习结束。

2.如权利要求1所述的分布式联邦学习协同计算方法，其特征在于，进行深度强化学习模型训练，具体包括以下子步骤：

进行深度强化学习模型的网络参数和状态信息的初始化；

各参与方根据深度强化学习模型初始化的网络参数和状态信息，进行各自本地模型的训练；

响应于完成本地模型的模拟训练，生成带宽分配策略，并在每个时隙单步更新AC网络参数；

响应于完成本地模型的模拟传输，生成关联策略和计算资源分配策略，并更新DQN网络参数；

检测深度强化学习模型是否收敛或最大迭代次数；

若未收敛或最大迭代次数，则开始下一轮迭代，重新进行本地模型的训练。

3.如权利要求2所述的分布式联邦学习协同计算方法，其特征在于，将金属表面缺陷检测模型作为本地模型。

4.如权利要求2所述的分布式联邦学习协同计算方法，其特征在于，初始化的状态信息具体包括：初始化Actor网络、Critic网络、DQN网络的参数及收敛精度，各参与方的位置坐标[x_k，y_k]、初始mini-batch值CPU频率f_k，各边缘服务器的位置坐标[x_m，y_m]及最大带宽B_m，时隙长度Δt和最大迭代次数I。

5.如权利要求2所述的分布式联邦学习协同计算方法，其特征在于，参与方进行本地模型的训练过程为，将本地数据集D_k划分为若干个大小为的小批量b，并通过以下公式更新局部权重来训练小批量b，以此完成本地模型的训练，其中训练过程表示为：

其中，η表示学习率，表示每一个小批量b的损失函数的梯度，表示第i轮迭代中参与方良的本地模型。

6.如权利要求2所述的分布式联邦学习协同计算方法，其特征在于，在进行本地模型的模拟训练，还包括，确定第i轮本地训练时参与方良所需要的时间，

第i轮本地训练时参与方良所需要的时间具体表示为：

其中，c_k表示参与方良训练单个数据样本时的CPU周期数，τ表示参与方执行MBGD算法时的迭代次数，f_k表示参与方k训练时的CPU周期频率，表示参与方k在第i轮执行本地训练时的mini-batch值。

7.如权利要求2所述的分布式联邦学习协同计算方法，其特征在于，将当前快尺度状态空间作为AC网络的输入，得到快尺度动作空间，即带宽资源分配策略；

快尺度状态空间s表示为：

表示各参与方未完成传输的模型大小，表示每个时隙参与方上传模型的传输速率，t表示时隙，Δt表示时隙长度；

快尺度动作空间快尺度动作空间即为带宽资源分配策略，其中表示边缘服务器m每个时隙为参与方k分配的带宽。

8.如权利要求1所述的分布式联邦学习协同计算方法，其特征在于，将训练好的深度强化学习模型的各参数按照确定的带宽资源分配策略上传至边缘服务器的过程中，第i轮参与方k和边缘服务器m之间的可用上行数据传输速率表示为：

其中，P_k表示参与方k的传输功率，表示加性高斯白噪声的功率谱密度，表示参与方k和边缘服务器m的信道增益，ψ₀表示参考距离处的信道功率增益。

9.如权利要求1所述的分布式联邦学习协同计算方法，其特征在于，还包括，第i轮参与方k将深度强化学习模型参数上传到边缘服务器m所用的时间具体表示为：

其中，ξ表示金属表面缺陷检测模型的大小，表示第i轮参与方k和边缘服务器m之间的可用上行数据传输速率。

10.一种分布式联邦学习协同计算系统，其特征在于，具体包括：深度强化学习单元以及联邦学习单元；

其中深度强化学习单元，用于进行深度强化学习模型训练；

联邦学习单元，用于根据深度强化学习模型生成的关联策略和计算即带宽资源分配策略进行联邦学习。