[发明专利]基于长短期记忆网络的电力时间序列数据的异常检测方法

权利要求书

1.一种基于长短期记忆网络的电力时间序列数据的异常检测方法，其特征在于，包括以下步骤：

S1：电力时序数据预处理，移除数据中不重要的特征，清洗部分噪声数据，数据预处理的结果作为下一步模型训练的输入；

S2：神经网络模型预训练，采用编码器-解码器结构，计算分层动态注意力；基础模型使用长短期记忆网络LSTM，ReLU作为激活函数，损失函数使用自定义损失函数，优化器使用Adam，训练模型直至收敛为止；这一步基于电力时间序列数据集{x₁,…,x_N}得到下一步神经网络模型参数的初始参数，以及整个时间序列数据集的代表点表示c；

S3：异常数据检测，在神经网络模型完成训练后，将模型权重W和模型保存到本地，在对新的电力时序数据x进行检测时直接加载模型，计算与代表点c的距离得到其异常分数从而判断是否异常；其中：

步骤S2中，采用编码器-解码器结构，计算分层动态注意力的方法如下：

(1)输入序列长度为l的k维变量序列，将其通过LSTM单元得到n个编码器单元的隐藏状态序列其中X_i对应的编码器隐藏状态

(2)将前一解码器单元隐藏状态和前一解码器单元的k维预测结果通过LSTM单元，获得当前解码器隐藏状态，进而获得解码器单元隐藏状态序列其中

(3)计算分层动态注意力

①计算注意力权重

对于每个解码器单元，根据步骤(1)得到的所有编码器单元的隐藏状态序列E和步骤(2)得到的解码器隐藏状态计算注意力α_i*，使用的方法为双线性映射方法，即或基于位置的方法，即然后对α_i*使用softmax进行归一化，得到注意力权重

②计算动态注意上下文向量

使用上一步得到的注意力权重对所有编码器隐藏状态和解码器隐藏状态的集合H_i＝E∪D求加权和，得到动态注意上下文向量，即，

③计算分层注意隐藏状态

将上一步得到的与解码器隐藏状态进行连接后，通过ReLU激活函数得到对应的动态注意隐藏状态然后使用Max-Pooling或均值方法，根据步骤(1)得到的编码器单元的隐藏状态序列E计算得到编码器上下文向量最后将编码器上下文向量c_e和动态注意隐藏状态通过混合函数，即对两个向量的串联仿射变换，或对两者的池化操作，得到分层注意隐藏状态

步骤S2中，自定义损失函数定义如下：

这里的为另一个LSTM网络，由训练的参数初始化这个网络的参数为W，将一条时间序列x_i映射到一个超球体中。

2.根据权利要求1所述的异常检测方法，其特征在于，步骤S2中，基于神经网络模型的激活函数选择ReLU，所有负值均变成0，正数不变，即单侧抑制，使得神经网络中的神经元也具有了稀疏激活性，公式如下：

ReLU(x)＝max{0,x}。

3.根据权利要求1所述的异常检测方法，其特征在于，步骤S2中，选择Adam作为训练神经网络模型的优化算法，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率；其公式如下：

m_t＝μ*m_t-1+(1-μ)*g_t (1)

其中公式(1)(2)分别是对梯度g_t的一阶矩估计和二阶矩估计，看作是期望值E|g_t|，E|g_t²|的估计，公式(3)(4)是对一阶二阶矩估计的校正，近似为对期望的无偏估计；公式(5)前面部分是对学习率η形成的一个动态约束。