[发明专利]基于RAdam-DA-NLSTM时间序列预测方法

说明书

本发明涉及时间序列预测方法技术领域，具体涉及基于RAdam‑DA‑NLSTM时间序列预测方法，本发明通过种嵌套式LSTM神经网络，一个新的内部LSTM单元结构被采用作为LSTM的记忆细胞，使模型能够指导性的记忆遗忘和记忆选择，提高模型预测精度，然后构建基于双阶段注意力机制的自编码器网络，采用基于输入注意力机制的编码器和基于时间注意力机制的解码器选择时间序列的输入特征和隐藏状态特征，改善传统LSTM的注意分散缺陷问题，最后采用RAdam优化器求解目标函数，其能根据方差分散度，动态地选择Adam和SGD优化器，并构建整流器项，使得自适应动量得到充分表达，增强模型的稳定性，从而使得本方法具有更高的预测精度和稳定性。

技术领域

本发明涉及时间序列预测方法技术领域，具体涉及基于RAdam-DA-NLSTM时间序列预测方法。

背景技术

物联网世界产生海量数据，如何运用好这些数据是如今社会、经济发展的关键技术问题。因此，学者们纷纷研究基于人工智能的方法对物联网中的海量数据进行处理与分析。其中，时间序列预测方法是研究热点之一。

LSTM(Long Short Term Memory，长短期记忆)神经网络能够充分挖掘海量数据中蕴藏的信息，具备深度学习的能力。因此，目前时间序列方法主要的方法之一是采用LSTM神经网络。但生活中大多数时间序列呈现高维复杂特征，基于传统LSTM神经网络的预测模型在处理这些数据时会出现网络特征凝聚弱导致的鲁棒性能差、过拟合导致的模型不稳定和泛化性能差问题。

综上所述，研发基于RAdam-DA-NLSTM时间序列预测方法，仍是时间序列预测方法技术领域中急需解决的关键问题。

发明内容

针对现有技术所存在的上述缺点，本发明在于提供基于RAdam-DA-NLSTM时间序列预测方法，本发明采用自编码器网络模型，包含输入层、编码器、解码器和输出层，采用输入注意力机制优化NLSTM1构成编码器；采用时间注意力机制优化NLSTM2构成解码器，然后，在编解码时，采用RAdam优化器优化更新DA-NLSTM网络目标函数，以此综合改善传统LSTM的注意分散缺陷问题和增强模型的稳定性。

本发明首先设计一种嵌套式LSTM神经网络，一个新的内部LSTM单元结构被采用作为LSTM的记忆细胞，使模型能够指导性的记忆遗忘和记忆选择，提高模型预测精度；然后设计一种基于双阶段注意力机制的自编码器网络，采用基于输入注意力机制的编码器和基于时间注意力机制的解码器选择时间序列的输入特征和隐藏状态特征，改善传统LSTM的注意分散缺陷问题，有效捕获时间序列的长期时间依赖性，提高网络的特征凝聚力；接着提出采用RAdam优化器求解目标函数，其能根据方差分散度，动态地选择Adam和SGD优化器，并构建整流器项，使得自适应动量得到充分表达，增强模型的稳定性。

其具体技术方案如下：

基于RAdam-DA-NLSTM时间序列预测方法，包括以下步骤：

(1)构建嵌套式LSTM神经网络；

(2)采用双阶段注意力机制的自编码器，选择时间序列的输入特征和隐藏状态特征，构建基于双阶段注意力机制的自编码器网络；

(3)采用RAdam优化器优化求解目标函数。

进一步的，在步骤(1)中，所述的嵌套式LSTM神经网络，分为内部LSTM和外部LSTM，内部LSTM和外部LSTM的门控系统运算方式与传统LSTM保持一致，其共有4个门控系统，分别是遗忘门、输入门、候选记忆细胞和输出门，其中各门的计算公式如下：

遗忘门为：f_t＝σ(W_ftx_t+W_fhh_t-1+b_f)；