[发明专利]一种注意力机制与LSTM结合检测时序数据异常方法及终端机

权利要求书

1.一种注意力机制与LSTM结合检测时序数据异常方法，其特征在于，方法包括：

步骤1：将输入数据X加入自编码器；

(11)将输入数据X映射到自编码器模型结构的变量中，然后将潜在空间中的序列进行重建；

(12)对输入数据X进行压缩编码，将高维的输入数据X用低维的向量进行表示，使得压缩后的低维向量能够保留输入数据X的典型特征；

(13)通过训练减小输入数据X和重建数据X'之间的重建误差；

(14)将输入数据X进行压缩复原，并提取关键特征，使压缩复原出的数据接近于真实的数据；

步骤2：引入注意力机制对输入数据X进行处理；

步骤3：使用重构误差计算输入数据X的异常状态；

通过ALAE模型对输入数据进行预测，检测偏离正常值的数据；

模型计算每一个传感器的单独异常分数，组合成每个时间点的异常分数，通过异常分数界定每个时间点是否出现异常数据。

2.根据权利要求1所述的注意力机制与LSTM结合检测时序数据异常方法，其特征在于，

步骤一还包括：

将输入数据X输入到遗忘门生成向量f_t，向量f_t在0到1之间，其中1表示完全保留，0表示完全忘记；

f_t＝σ₁(W_f·[h_t-1，x_t]+b_f)

将输入数据X输入到输入门，输入门中的向量i_t由上一个细胞的隐藏向量h_t-1和当前输入的x_t生成，生成方式如下公式：

i_t＝σ₃(W_i·[h_t-1，x_t]+b_i)

表示单元状态的更新，使用tanh作为激活函数，

遗忘门和输入门向量共同决定当前细胞的单元状态C_t，

通过下式计算细胞的单元输出o_t，隐变量的输出由当前细胞的状态决定；

o_t＝σ₃(W_o[h_t-1,x_t]+b_o)

h_t＝o_t*tanh(C_t)

经LSTM处理后，编解码过程表示为：

其中和b为解码器中的权重矩阵和偏置量，y_t为潜在空间中的向量；

和b'为解码器中的权重矩阵和偏置量，为模型重构出的当前时间戳的数据值。

3.根据权利要求1所述的注意力机制与LSTM结合检测时序数据异常方法，其特征在于，

步骤2还包括：

定义上一时间点输入数据X的状态h＝{h₁,h₂,...,h_t-1}，从h中提取了前后时间点向量v_t；

v_t是h中每个列h_i的加权总和，v_t表示与当前时间步骤相关的信息；

设评分函数为f:R^m*R^m→R，计算其输入向量之间的相关性；

前后时间点向量v_t计算为：

使用多头注意力机制来对高维序列数据的学习能力，最终输出为：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W

h为总注意力头数，每个注意力头定义为：

head_i＝Attention(QW_i^Q,KW_i^K,VW_i^V)

其中投影是参数矩阵