[发明专利]一种基于门控三塔的智能制造装备故障预测方法

说明书

本发明公开了一种基于门控三塔的智能制造装备故障预测方法，包括：S1通道塔编码器；S2带有多尺度聚合模块的滑窗塔编码器；S3带有跨塔注意力模块的文本塔编码器；S4门控模块。本发明首先将通道嵌入矩阵输入到通道塔编码器，得到通道特征；将时序嵌入矩阵输入到带有多尺度聚合模块的滑窗塔编码器，得到聚合时序特征；进一步，将文本表示输入至文本塔编码器得到文本特征并将文本特征和时序特征输入至跨塔注意力模块得到加权文本特征；最后通过门控模块融合通道特征、聚合时序特征和加权文本特征进行故障类别预测；通过计算交叉熵损失优化参数，使得模型能够动态地自适应融合多台智能制造装备的三种特征，从而提升故障预测的准确率。

技术领域

本发明涉及智能制造的预测性维护领域，针对利用智能制造装备运行时传感器采集的数值数据和运行日志的文本数据进行预测故障类别的问题，结合数值数据的通道特征、时间特征和日志数据的文本特征，提出了基于门控三塔Transformer的智能制造装备故障预测方法。

背景技术

近年来，国家不断出台鼓励性政策支持智能制造，智能制造已成为制造业的重要发展趋势。各地智能制造产业的兴起，涌现了一批智能制造企业与产业园区，相应的系统设备也不断规模化与复杂化，进而对智能制造装备的运维要求更高。在生产过程中智能制造装备可能会发生故障，若没有提前制定处理方法或维修策略则可能影响产品的质量和生产效率甚至造成巨大的经济损失。对此，引入预测性维护中的故障预测技术，根据智能制造装备的运行状态数据预测其未来可能的故障模式，并预先制定预测性维护计划。故障预测技术以智能制造装备运行时传感器采集的数值数据和运行日志的文本数据等作为输入，通过提取数据特征并进行分析，输出预测的故障类别。近年来，深度学习快速发展极大促进了数据特征提取和分析方法的发展，有望将其应用于故障预测技术。

目前，国内外学者在故障预测领域做出了很多有价值的研究成果。基于统计分析的故障预测技术(如灰色理论、独立元分析方法等)通过统计历史运行数据来分析预测智能制造装备未来的运行状态，但由于采用了维度线性的约束，其难以适应真实情况中复杂的非线性系统。基于信号处理的故障预测技术(如小波变换法、谱分析方法等)难以长时间跟踪智能制造装备的运行数据序列，容易导致预测性能下降。基于深度学习的故障预测技术(如卷积神经网络、循环神经网络等)能够有效地在历史运行数据中提取重要的特征信息来进行故障预测，适用于不确定的和复杂的智能制造装备系统。近期，源于自然语言处理领域的Transformer模型风靡于深度学习领域，其多头注意力机制可被用于提取运行数据中多样性的关键特征信息。

现有的故障预测方法仍然存在许多不足：首先，很多方法仅利用了传感器获取的数值数据的时序特征，而没有充分利用通道特征，基于卷积提取通道特征的方法需要繁复地设计感受野且无法建立全局的通道关联关系；其次，提取时序特征时往往固定了时序尺度，没有利用局部的时序信息，通过堆叠卷积层的方法容易导致计算开销过大；此外，现有方法处理日志文本数据时往往需手工进行特征提取并进一步分析预测故障类别，缺少能够有效融合数值数据和文本数据特征的端到端训练方法。

发明内容

本发明针对现有故障预测技术对传感器采集的数值数据和运行日志的文本数据特征提取和融合的不足，提出了一种基于门控三塔Transformer的智能制造装备故障预测方法。首先，设计了滑窗掩膜注意力机制进行对多尺度时序特征进行提取并利用多尺度聚合模块进行时序特征聚合，不仅能够在多个滑窗内应用掩膜注意力，减小模型的计算开销，而且能够增加模型对局部时序特征信息的提取及表达能力；然后，在提取文本特征后，采用跨塔注意力机制学习文本-时序注意力权重，有效地实现端到端的智能制造装备故障预测。