[发明专利]一种基于Actor-Critic强化学习模型的焊接异常实时诊断方法

说明书

本发明公开了一种基于Actor‑Critic强化学习模型的焊接异常实时诊断方法，首先采集实际焊接过程中的多维传感数据，构建入模数据集；接着搭建基于DQN网络结构的Actor‑Critic强化学习模型；基于TD算法对Actor‑Critic强化学习模型进行训练，并通过测试集数据对模型进行测试，通过输入的时序数据特征，实时识别所属焊接情况；最终部署训练完毕的Actor‑Critic强化学习模型，实时识别当前焊接状态；本发明同时实例化2个结构相同的DQN网络，大幅减少模型训练时间，同时引入优化经验回放策略及分层采样方法进行模型训练，可以提升模型识别精度，做到焊接异常状态的实时准确检测。

技术领域

本发明属于焊接异常诊断技术领域，特别涉及一种基于Actor-Critic强化学习模型的焊接异常实时诊断方法。

背景技术

焊接作为一种重要的制造技术，被广泛应用于工业生产中。焊接过程属于典型的不确定性、非线性系统过程，在焊接过程会发生复杂的物理化学反应同时焊接工艺的复杂性导致不可避免的会出现焊接质量缺陷；现阶段主要的缺陷检测手段主要为人眼观测或使用一些无损探伤的设备进行检测；

随着焊接异常诊断技术的不断发展，目前已经涌现出一批通过采集电流、电压等时序数据，并对此进行数据分析，最终实现焊接质量实时检测的效果。但现有技术均是将焊接异常诊断作为传统的分类问题，核心思想在于通过机器学习等方法进行精准分类，从强化学习角度对焊接异常情况进行实时检测则尚无相关研究。

发明内容

发明目的：针对上述背景技术中提出的研究方向，本发明提供了一种基于Actor-Critic强化学习模型的焊接异常实时诊断方法，将传统焊接异常检测问题由分类问题转化为焊接异常标签识别问题，可以实现同步准确识别多种焊接异常状态的效果。

技术方案：一种基于Actor-Critic强化学习模型的焊接异常实时诊断方法，包括以下步骤：

步骤S1、采集焊接过程中的多维传感数据，并进行预处理；对采集到的传感数据按照实际焊接情况进行标注，并构造特征，最终划分训练集和测试集，构建入模数据集；

步骤S2、搭建基于DQN网络结构的Actor-Critic强化学习模型；

步骤S3、基于训练集数据，采用TD算法对步骤S2所述Actor-Critic强化学习模型进行训练，输入特征数据，识别特征数据所属焊接标注情况；

步骤S4、基于训练好的Actor-Critic强化学习模型，基于测试集特征数据进行测试；通过输入的时序数据特征，实时识别所属焊接情况；最终部署测试完毕的Actor-Critic强化学习模型，实时接收传感器采集的数据，并识别当前焊接状态。

进一步地，所述步骤S1中对多维传感数据进行预处理步骤包括：

所述步骤S1中对多维传感数据进行预处理步骤包括：

步骤S1.1、通过部署在焊机终端的各类传感器实时采集焊接过程中的高频时序数据，本实施例中采集的数据包括电流、电压、送丝速度和保护气流速；

步骤S1.2、对采集到的时序数据根据实际焊接情况进行标注，将正常焊接标注为0，对不同焊接异常问题分别标注不同代号；

步骤S1.3、针对采集的时序数据进行特征构造；构造特征包括时域特征、频域特征和时频域特征；

步骤S1.4、基于步骤S1.3中提取的特征及对应的标签构建入模数据集，包括训练集和测试集。

进一步地，所述步骤S2中Actor-Critic强化学习模型搭建步骤包括：

步骤S2.1、创建强化学习环境；