[发明专利]一种基于异步并行强化学习的故障诊断模型自学习方法

说明书

本发明公开了一种基于异步并行强化学习的故障诊断模型自学习方法，包括：配置用于在CPU多线程上同时运行各自的演员‑评委强化学习算法的N个故障诊断模型自学习智能体；配置N个故障诊断模型自学习交互环境，每个故障诊断模型自学习交互环境与相应的一个故障诊断模型自学习智能体进行交互；配置用于将全局网络参数同步到N个故障诊断模型自学习智能体的全局网络；每个故障诊断模型自学习智能体、每个故障诊断模型自学习交互环境以及所述全局网络之间通过多次操作，自学习故障诊断模型的网络参数。

技术领域

本发明涉及故障诊断技术领域，特别涉及一种基于异步并行强化学习的故障诊断模型自学习方法。

背景技术

故障诊断是一种对故障进行检测、隔离和识别的技术手段，随着科学技术的快速发展，各类机械设备的结构日益复杂，监测参数趋于海量多维，对故障诊断方法提出了更高的要求。由于深度学习技术具有对高维非线性参数的高度逼近能力，因此结合深度学习方法的一系列故障诊断方法被广泛应用到工业工程中。基于深度学习的故障诊断方法能够集故障特征提取与故障模式分类于一体，实现算法从数据中自主提取有用的故障特征并进行故障模式识别，较传统基于数据驱动的故障诊断方法有明显的性能提升。但与之相对应的是研究者必须对深度神经网络中的各种参数和超参数进行调整以获得最佳的故障诊断效果，这需要大量的时间和计算资源，同时十分依赖专家经验。

模型自学习指模型通过多轮迭代，自动化地寻找更加适合的模型参数的过程，是解决上述问题的重要方式之一。强化学习中的AC(Actor-Critic)框架由于结合了基于值函数和策略梯度方法的优点，在连续空间搜索及单步动作等问题上具备较强优势，适用于解决故障诊断模型自学习问题，但AC框架本身仍存在高资源消耗和难收敛问题。分布式异步并行强化学习能够极大地提升模型的学习性能和速度，但多设备并行的方式消耗了过多资源。

发明内容

本发明的目的是提供一种基于异步并行强化学习的故障诊断模型自学习方法，用于解决多参数、高维空间的故障诊断模型自学习效率低下、消耗资源过多的技术问题。

本发明的一种基于异步并行强化学习的故障诊断模型自学习方法包括以下

步骤：

配置用于在CPU多线程上同时运行各自的演员-评委强化学习算法的N个故障诊断模型自学习智能体；

配置N个故障诊断模型自学习交互环境，每个故障诊断模型自学习交互环境与相应的一个故障诊断模型自学习智能体进行交互；

配置用于将全局网络参数同步到N个故障诊断模型自学习智能体的全局网络；

每个故障诊断模型自学习智能体、每个故障诊断模型自学习交互环境以及所述全局网络之间通过多次操作，自学习故障诊断模型的网络参数：

其中，每个故障诊断模型自学习智能体、每个故障诊断模型自学习交互环境以及所述全局网络之间的每次操作包括：

每个故障诊断模型自学习智能体收到全局网络同步发送的全局网络参数后，用全局网络参数更新所述故障诊断模型自学习智能体的网络参数，利用更新后的网络参数运行演员-评委强化学习算法，从而使每个故障诊断模型自学习交互环境通过与对应的每个故障诊断模型自学习智能体进行交互，得到一个故障诊断模型网络参数；

每个故障诊断模型自学习交互环境将对应的每个故障诊断模型自学习智能体运行演员-评委强化学习算法后的故障诊断模型自学习智能体的网络参数异步地上传给全局网络；

所述全局网络从每个故障诊断模型自学习智能体运行演员-评委强化学习算法后的故障诊断模型自学习智能体的网络参数中选出最优网络参数，并将所选出的最优网络参数再次同步到每个故障诊断模型自学习智能体，以供每个故障诊断模型自学习智能体更新其网络参数，从而使每个故障诊断模型自学习交互环境通过与对应的故障诊断模型自学习智能体进行交互，得到下一个故障诊断模型网络参数。