[发明专利]基于RAdam-DA-NLSTM时间序列预测方法

权利要求书

1.基于RAdam-DA-NLSTM时间序列预测方法，其特征在于，包括以下步骤：

(1)构建嵌套式LSTM神经网络；

(2)采用双阶段注意力机制的自编码器，选择时间序列的输入特征和隐藏状态特征，构建基于双阶段注意力机制的自编码器网络；

(3)采用RAdam优化器优化求解目标函数。

2.根据权利要求1所述的基于RAdam-DA-NLSTM时间序列预测方法，其特征在于，在步骤(1)中，所述的嵌套式LSTM神经网络，分为内部LSTM和外部LSTM，内部LSTM和外部LSTM的门控系统运算方式与传统LSTM保持一致，其共有4个门控系统，分别是遗忘门、输入门、候选记忆细胞和输出门，其中各门的计算公式如下：

遗忘门为：f_t＝σ(W_ftx_t+W_fhh_t-1+b_f)；

输入门为：i_t＝σ(W_ixx_t+W_ihh_t-1+b_i)；

候选记忆细胞为：

输出门为：o_t＝σ(W_oxx_t+W_ohx_t-1+b₀)；

记忆细胞为：

新一轮的隐藏状态为：h_t＝o_t·tanh(c_t)，

式中，σ为sigmoid函数，W_fx和W_fh为外部LSTM遗忘门权重矩阵，W_ix和W_ih为外部LSTM输入门权重矩阵，W_cx和W_ch为外部LSTM候选记忆细胞权重矩阵，W_ox和W_oh为外部LSTM输出门权重矩阵，b_f、b_i、b_c和b_o分别为外部LSTM的遗忘门、输入门、候选记忆细胞和输出门的偏置，x_t、h_t-1和c_t-1分别为外部LSTM的当前输入、上一轮的隐藏状态和记忆细胞，和为内部LSTM遗忘门权重矩阵，和为内部LSTM输入门权重矩阵，和为内部LSTM候选记忆细胞权重矩阵，和为内部LSTM输出门权重矩阵，和分别为内部LSTM的遗忘门、输入门、候选记忆细胞、输出门的偏置，和分别为内部LSTM的当前输入、上一轮的隐藏状态和记忆细胞；

输出层输出为：y_t＝σ(W_yhh_i)，式中，W_yh为输出层权重矩阵。

3.根据权利要求1所述的基于RAdam-DA-NLSTM时间序列预测方法，其特征在于，在步骤(2)中，所述的双阶段注意力机制的自编码器分为基于输入注意力机制的编码器和基于时间注意力机制的解码器。