[发明专利]一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法

权利要求书

1.一种新的用于电力负荷预测的基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，其特征在于，包括以下步骤：

S1：非侵入式的数据预处理过程；

S2：将S1中的结果输入进BiLSTM网络模型中，得出最终的预测结果。

2.如权利要求书1所述一种新的用于电力负荷预测的基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，其特征在于，S1中：基于非侵入式注意力机制的数据预处理过程，具体包括以下步骤：

S1.1：将原始输入数据表示为：x₁，x₂，...，x_m，其中1，2，...，m表示输入时间序列的时长，则总长度为m，则该数据可用形状为(m，1)的矩阵表示；对数据进行根据时间序列滑动窗口采样预处理，窗口长度记为window_size，依次截取形状为(window_size，1)的窗口数据，作为样本，构造样本数据集，则预处理后的每个样本可以表示为：x₁，x₂，...，x_{window_size}，则总样本数据可用形状为：(m，window_size，1)的矩阵表示；

S1.2：将数据分为：测试集，验证集，训练集；

S1.3：对S1.2中的每个输入训练数据做一维卷积操作，卷积核大小为k，卷积过程表示为：其中cx_t表示卷积结果，x_t表示t时刻输入数据，x_t+n表示x_t的n阶近邻，其中n＜k，即k阶近邻，w_c和b_c表示要学习的参数；

S1.4：对S1.2中的输入训练数据做全连接计算，计算过程可表示为：dx_t＝ω_dx_t+b_d，其中w_d和b_d表示要学习的参数，dx_t表示该步输出结果；

S1.5：对S1.3和S1.4中结果做加权求和，计算过程可表示为：其中cx_t是S1.3中的卷积结果，dx_t是S1.4中的全连接层的计算结果，[·]表示点乘；

S1.6：将S1.5中的输出结果(即)，与原始输入序列：x₁，x₂，...，x_{window_size}做连接操作，过程可以表示为：其中表示S1.5中的计算结果，x_t表示原始输入，连接处理后的数据可用形状为(window_size，2)的矩阵表示，window_size是S1.1中输入数据的滑动窗口大小。

3.如权利要求书1所述一种新的用于电力负荷预测的基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，其特征在于，S2中：所述的BiLSTM网络模型为，具有Encoder-Decoder架构，Encoder架构由BiLSTM网络层组成，Decoder架构由LSTM网络层和Dense网络层组成，具体包括以下步骤：

S2.1：将S1.6中的结果输入BiLSTM网络层中，BiLSTM的前向传播层具有15个神经元，反向传播层具有15个神经元，神经元个数可用units表示，则输出数据可用形状为(m，window_size，30)的矩阵表示，m表示样本数量；

S2.2：将S2.1中的输出表示为(y′_t1，y′_t2，...，y′_units)，并输入到LSTM网络层中；

S2.3：将S2.2中的输出表示为(y″_t1，y″_t2，...，y″_{window_size-1})，并输入到Dense网络层中，输出最终的预测结果output，即形状为(m，1)的矩阵；

S2.4：通过S1和S2.1-S2.3所述的网络模型，所输出的预测序列output，可展开表示为(y₁，y₂，...y_i)，其中y_i，i＝1...m，分别表示第i个样本的数据的预测结果，再将y_i与真实值对比，使用通过反向传播更新网络参数，其中损失函数为均值平方差(MSE)损失函数，学习率设置为0.01；并利用模型在验证集上的表现实现早停，重复以上步骤，不断调整模型参数，得到较好的准确率；

S2.5：使用步骤S1及S2.1-S2.4得到优化后的最终网络模型，通过测试集测试模型表现，最终应用在实际的预测工作中。