[发明专利]一种基于强化联邦学习的电力行业起重作业违章检测方法

权利要求书

1.一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，该方法包括以下步骤：

S1、使用联邦学习C，对A节点和B节点使用本地数据进行训练并得到模型；

S2、将步骤S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值；

S3、强化学习模块通过强化学习，生成强化融合模型；

S4、联邦学习C中心节点使用强化融合模型采用加权平均来对A节点和B节点的模型进行模型融合；

S5、将融合后的模型下发到A节点和B节点；

S6、重复步骤S1到S5，直至模型训练完成。

2.根据权利要求1所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，使用联邦学习C，对A节点和B节点使用本地数据进行训练并得到模型：

S11、联邦学习C把公钥分发给A节点和B节点，用以对训练过程中需要交换的数据进行加密；

S12、A节点和B节点之间以加密形式交互用于计算梯度的中间结果；

S13、A节点和B节点分别基于加密的梯度值进行计算，同时B节点根据其标签数据计算损失，并把结果汇总给联邦学习C，联邦学习C通过汇总结果计算总梯度值并将其解密；

S14、联邦学习C将解密后的梯度分别回传给A节点和B节点，A节点和B节点根据梯度更新各自模型的参数。

3.根据权利要求2所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述模型的训练过程中，A节点和B节点各自的数据均保留在本地，且训练过程中的数据交互也不会导致数据隐私泄露，A节点和B节点会在在联邦学习的帮助下得以实现合作训练模型。

4.根据权利要求1所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述将S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值还包括以下步骤：

S21、强化学习DQN使用神经网络来近似值函，即神经网络的输入是函数值state ss，输出是函数值Q(s，a)，

S22、通过神经网络计算出值函数后，强化学习DQN使用∈-greedy∈-greedy策略来输出函数值action；

S23、根据Rew去更新值函数网络的参数，重复步骤S21至S22并进行模型融合。

5.根据权利要求4所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述通过神经网络计算出值函数后，强化学习DQN使用∈-greedy∈-greedy策略来输出函数值action还包括以下步骤：

S221、通过环境给出一个函数值obs，智能体根据值函数网络得到关于这个obs的所有函数值Q(s，a)Q(s，a)；

S222、利用∈-greedy∈-greedy选择函数值action并做出决策，环境接收到此函数值action后会给出一个奖励函数值Rew及下一个obs。

6.根据权利要求5所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述智能体根据值函数网络得到关于这个obs的所有函数值的Q(s，a)Q(s，a)的估算公式如下：

Q(s，a)Q(s，a)≈^Q(s，a，w)≈Qπ(s，a)Q^(s，a，w)≈Qπ(s，a)。

7.根据权利要求6所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述强化学习DQN的算法如下：

初始化Q(s，a)，Vs∈S，a∈A(s)，且Q(终止状态，)＝0；

重复，对于每个片段；

初始化状态S；

重复，对于每个片段的每一步；

根据Q选择一个S处的动作A；

执行动作A，观测R，S'；

Q(S，A)←Q(S，A)+a(R+γmaxg Q(S'，a)-Q(S，A))；

S←S'；

直到S是终止状态并收敛。