[发明专利]一种基于门控三塔的智能制造装备故障预测方法

权利要求书

1.一种基于门控三塔的智能制造装备故障预测方法，其特征在于包括如下步骤：

S1.数据采集：获取一定天数内多台同类智能制造装备的由传感器采集的相关数值数据集运行日志文本数据集和装备状态数据集

其中为第s台智能制造装备在第d天的K类数值数据，T为数据总天数，D为故障预测日期，N为智能制造装备总台数；

为第s台智能制造装备在第d天的多条日志文本数据；

为第s台智能制造装备在第D天第b状态的真实标记，若第s台智能制造装备的状态类别属于b则为1，否则为0，B为状态总数；并用表示第s台智能制造装备的所有数值数据，表示第s台智能制造装备第d天的所有文本数据；

S2.对数值数据及文本数据进行变换，得到通道嵌入矩阵、时序嵌入矩阵及句嵌入向量，具体包括以下子步骤：

S21.将第s台智能制造装备的转置数值数据输入至线性层，获得通道嵌入矩阵

S22.将第s台智能制造装备的原始数值数据输入至线性层，并经过位置编码获得时序嵌入矩阵

S23.将第s台智能制造装备的文本数据输入至BERT模型获得每条文本数据的句嵌入向量；

S24.对每天的句嵌入向量分别采用最小值、平均值、最大值池化操作获得文本表示

S3.将通道嵌入矩阵输入至通道塔编码器，得到数值数据的通道特征，通道塔编码器由L^c个通道编码层构成，具体包括以下子步骤：

S31.对层通道编码层提取的通道特征进行归一化处理

S32.对步骤S31得到的归一化特征进行多头注意力层特征提取，该层采用残差结构，其计算公式为：

多头注意力层的具体操作包括以下子步骤：

SU1.通道特征和参数矩阵相乘得到第a个自注意力SA_a(·)的输入嵌入矩阵映射的查询矩阵q_a、键矩阵k_a和值矩阵v_a；

SU2.通过归一化指数softmax函数计算得到自注意力权重矩阵为映射矩阵内每个向量的维度大小；

SU3.自注意力权重矩阵s_a和值矩阵v_a相乘得到

SU4.对各注意力层得到的特征进行拼接，并乘参数矩阵得到MSA层的输出特征

S33.对步骤S32所得到的特征进行归一化处理

S34.将归一化特征输入至多层感知机进行特征提取，其结果即为第层通道编码特征，其计算公式为：

S35.第层通道编码特征输入至第层通道编码层，重复步骤S31-S34；

S4.滑窗塔编码器对时序嵌入矩阵进行多层多尺度特征提取得到多尺度时序特征具体包括以下子步骤：

S41.对层滑窗编码层提取的时序特征进行归一化处理

S42.对归一化后的特征采用滑窗掩膜注意力层提取特征，当为奇数时，执行以下操作：

SN1.第个滑窗掩膜注意力层以时间单位大小的滑窗将时序特征进行非重叠均分且

SN2.采用不大于时间单位大小的滑窗将边缘时序特征完整包括；

SN3.在该层滑窗内进行掩膜自注意力计算，将多头注意力计算步骤中的自注意力权重矩阵s_a上三角元素置0；

SN4.使用固定滑窗进行掩膜自注意力计算，并采用残差结构计算本层的输出时序特征

当为偶数时，执行以下操作：

SN5.第个滑窗掩膜注意力层先将第个滑窗掩膜注意力层的所有滑窗以时间单位大小进行移动；

SN6.采用不大于时间单位大小的滑窗将边缘时序特征完整包括；

SN7.在该层滑窗内进行掩膜自注意力计算，将多头注意力计算步骤中的自注意力权重矩阵s_a上三角元素置0；

SN8.使用固定滑窗进行掩膜自注意力计算，并采用残差结构计算

S44.对归一化后的时序特征采用多层感知机提取特征，

S45.滑窗编码层输出的多尺度时序特征L^t进行多尺度聚合得到聚合时序特征并输出，该特征包含多尺度的全局与局部时序信息，计算公式为：

S5.将文本表示输入至文本塔编码器得到文本特征并将文本特征和时序特征输入至跨塔注意力模块得到加权文本特征,具体包括以下子步骤：

S51.对层输出的文本特征进行归一化

S52.通过多头注意力层对归一化后的文本特征提取特征，计算公式为：

S53.对步骤S52计算得到的文本特征进行归一化

S54.对归一化后的文本特征进行多层感知机特征提取，计算公式为：

S6.采用门控模块融合通道特征、聚合时序特征和加权文本特征计算输出预测故障类别概率向量，具体包括以下子步骤：

S61.将全局时序特征输入至全连接层得到线性映射后的全局时序特征

S62.将全局时序特征进行转置得到对齐的特征

S63.利用矩阵相乘操作和Softmax(·)函数得到文本-时序注意力权重计算公式为：

其中，FC(·)为全连接层；

S64.输出采用文本-时序注意力权重计算的加权文本特征：

S65.根据三种特征加权融合，得到预测结果，具体包括以下子步骤：

SW1.将通道特征聚合时序特征和加权文本特征输入到门控模块；

SW2.门控层G通过自适应权重对三种特征进行加权融合得到门控特征

SW3.将门控特征输入至全连接层FC得到第s台智能制造装备预测故障类别概率向量y_s，计算公式为：

S7.根据预测故障类别概率向量计算交叉熵损失，该步骤只在训练过程中使用，用以引导模型能够准确预测智能制造装备故障类别。