[发明专利]一种基于异步并行强化学习的故障诊断模型自学习方法

权利要求书

1.一种基于异步并行强化学习的故障诊断模型自学习方法，包括：

配置用于在CPU多线程上同时运行各自的演员-评委强化学习算法的N个故障诊断模型自学习智能体；

配置N个故障诊断模型自学习交互环境，每个故障诊断模型自学习交互环境与相应的一个故障诊断模型自学习智能体进行交互；

配置用于将全局网络参数同步到N个故障诊断模型自学习智能体的全局网络；

每个故障诊断模型自学习智能体、每个故障诊断模型自学习交互环境以及所述全局网络之间通过多次操作，自学习故障诊断模型的网络参数：

其中，每个故障诊断模型自学习智能体、每个故障诊断模型自学习交互环境以及所述全局网络之间的每次操作包括：

每个故障诊断模型自学习智能体收到全局网络同步发送的全局网络参数后，用全局网络参数更新所述故障诊断模型自学习智能体的网络参数，利用更新后的网络参数运行演员-评委强化学习算法，从而使每个故障诊断模型自学习交互环境通过与对应的每个故障诊断模型自学习智能体进行交互，得到一个故障诊断模型网络参数；

每个故障诊断模型自学习交互环境将对应的每个故障诊断模型自学习智能体运行演员-评委强化学习算法后的故障诊断模型自学习智能体的网络参数异步地上传给全局网络；

所述全局网络从每个故障诊断模型自学习智能体运行演员评委强化学习算法后的故障诊断模型自学习智能体的网络参数中选出最优网络参数，并将所选出的最优网络参数再次同步到每个故障诊断模型自学习智能体，以供每个故障诊断模型自学习智能体更新其网络参数，从而使每个故障诊断模型自学习交互环境通过与对应的故障诊断模型自学习智能体进行交互，得到下一个故障诊断模型网络参数。

2.根据权利要求1所述的基于异步并行强化学习的故障诊断模型自学习方法，其中，每个故障诊断模型自学习交互环境通过将每次得到的故障诊断模型网络参数进行诊断，将带有诊断结果的故障诊断模型自学习智能体的网络参数步地上传给全局网络，以便所述全局网络从每个故障诊断模型自学习智能体运行演员-评委强化学习算法后的故障诊断模型自学习智能体的网络参数中选出最优网络参数。

3.根据权利要求2所述的基于异步并行强化学习的故障诊断模型自学习方法，每个故障诊断模型自学习交互环境包括：

智能体交互模块，用于接收并解析故障诊断模型自学习智能体输出的动作a，根据所述动作a生成故障诊断模型网络参数；

结果评估模块，用于对智能体交互模块根据所述动作a生成的故障诊断模型网络参数进行诊断，并将带有诊断结果的故障诊断模型自学习智能体的网络参数步地上传给全局网络，并生成输送给故障诊断模型自学习智能体的状态S。

4.根据权利要求3所述的基于异步并行强化学习的故障诊断模型自学习方法，其中，对智能体交互模块根据所述动作a生成的故障诊断模型网络参数进行诊断包括：

将故障诊断模型网络参数加载到故障诊断模型中，

利用训练数据和验证数据对加载了故障诊断模型网络参数的故障诊断模型进行诊断，以确定故障诊断准确率。

5.根据权利要求2或3所述的基于异步并行强化学习的故障诊断模型自学习方法，其中，每个故障诊断模型自学习交互环境还包括判断故障诊断模型参数是否完整的判断模块。

6.根据权利要求2或3所述的基于异步并行强化学习的故障诊断模型自学习方法，其中，当判断故障诊断模型参数不完整时，则丢弃不完整的故障诊断模型参数。

7.根据权利要求2或3所述的基于异步并行强化学习的故障诊断模型自学习方法，其中，所述故障诊断模型自学习交互环境是运行CUP线程的软件。