[发明专利]一种基于交互式多尺度循环神经网络的时间序列预测方法

权利要求书

1.一种基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，所述方法包括以下步骤：

(1)对待预测的时间序列进行异常值消除处理、归一化处理以及滑动时间窗口划分后，获得时间序列段；

(2)将时间序列段输入时间序列预测模型中，所述时间序列预测模型包括多级小波分解网络、跨尺度交互的RNNs、以及两级注意力机制单元、以及单层的全连接层，利用时间序列预测模型对时间序列段进行时间序列预测，具体过程为：

(2-1)利用多级小波分解网络对时间序列段进行n级分解，得到多尺度子序列集合；

(2-2)将多尺度子序列集合输入到跨尺度交互的循环神经网络中，采用截断、初始化和消息传递三种策略对多尺度子序列进行跨尺度交互过程，输出为表示相邻尺度子序列之间的相关性的多尺度表示；

(2-3)利用第一级注意力机制对多尺度表示进行加权，得到每一个尺度的加权表示；利用第二级注意力机制融合所有加权表示，得到融合表示；

(2-4)将融合表示输入至单层的全连接层映射得到预测的时间序列。

2.如权利要求1所述的基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，小波分解的过程通过神经网络实现，即时间序列和滤波器做卷积操作，通过如下函数实现：

aⁱ⁺¹＝σ(Wⁱ(l)xⁱ(l)+bⁱ(l))

dⁱ⁺¹＝σ(Wⁱ(h)xⁱ(l)+bⁱ(h))

其中，xⁱ(l)为第i级分解得到的低频子序列，bⁱ(l)和bⁱ(h)是第i级的偏差向量，σ(·)是激活函数，Wⁱ(l)和Wⁱ(h)是滤波矩阵，填充滤波器对应的值。对aⁱ⁺¹和dⁱ⁺¹通过一个平均池化层，即可得到第i+1级分解的结果，计算公式如下：

其中，和分别表示aⁱ⁺¹、dⁱ⁺¹、xⁱ⁺¹(l)和xⁱ⁺¹(h)中第j个元素。

通过n级分解，最终得到多尺度子序列集合其中x⁰表示原始的时间序列，xⁱ表示第i(0<i≤n)级分解得到的子序列，即为：

3.如权利要求1所述的基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，所述采用截断、初始化和消息传递三种策略对多尺度子序列进行跨尺度交互过程包括：

第一步，针对输入的多尺度子序列集合利用截断策略得到不同时间窗口大小的子序列；

第二步，利用初始化策略赋值每一个尺度RNNs的初始隐状态，即一个尺度RNNs的初始隐状态由相邻更大尺度RNNs的隐状态初始化得到；

第三步，利用消息传递策略来建模两个相邻尺度子序列之间的相关性，最终得到多尺度表示Hⁱ(i∈{0,1,…,n})。

4.如权利要求3所述的基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，所述截断策略即对每个子序列只保留近期的值，对于越低尺度的子序列，其被保留的时间窗口越小，第i个尺度截断后的子序列表示为：

其中k_i表示第i个尺度截断后的起始索引。随着i的增加，被截断的长度更短，即满足k₀>k₁>...>k_n。在本发明中，从最大尺度到最小尺度，依次截断为上一个尺度的一半长度。

5.如权利要求3所述的基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，针对初始化策略，大尺度RNNs的隐状态包含小尺度子序列被截断值中隐含的信息，一个尺度RNNs的初始隐状态由相邻更大尺度RNNs的隐状态初始化得到，计算公式如下：

其中表示第i个尺度RNNs的初始隐状态。