[发明专利]一种基于交互式多尺度循环神经网络的时间序列预测方法

说明书

本发明公开了一种基于交互式多尺度循环神经网络的时间序列预测方法，包括：(1)对待预测的时序序列进行异常值消除处理、归一化处理以及滑动时间窗口划分后，获得时序序列段；(2)将时间序列段输入时间序列预测模型中，利用多级小波分解网络进行n级分解，得到多尺度子序列集合；将多尺度子序列集合输入到跨尺度交互的循环神经网络中，采用截断、初始化和消息传递三种策略对多尺度子序列进行跨尺度交互过程，输出为表示相邻尺度子序列之间的相关性的多尺度表示；利用利用两级注意力机制对多尺度表示进行融合，得到融合表示；将融合表示输入至单层的全连接层映射得到预测的时间序列。该方法提升了时间序列预测更加准确。

技术领域

本发明涉及时间序列预测领域，具体涉及一种基于交互式多尺度循环神经网络的时间序列预测方法。

背景技术

时间序列广泛存在于电力、医疗和金融等领域。时间序列预测是指根据一段历史时间的观测值，预测接下来某个时刻的观测值，是数据挖掘中的重要研究课题。许多现实世界中的时间序列在不同时间尺度上表现出不同的模式。例如，由一个家庭用电量构成的时间序列中，存在两个(每日和每周)重复出现的模式。以日为单位的重复模式(短期依赖)反映了早晚高峰的影响，以周为单位的重复模式(长期依赖)反映了工作日和周末的差异。一个好的时间序列预测模型应该同时捕获这两种依赖模式。

循环神经网络(RNNs)在各种时间序列建模任务中表现良好。由于梯度消失和爆炸问题，捕获长期依赖仍然面临挑战。为了更好的捕获长期依赖，现有方法可分为三类。第一类是设计复杂的优化和初始化策略，例如梯度裁剪、近似恒等初始化和正交初始化。这些策略的表达能力有限，只能在一定程度上缓解该问题。

第二类是在循环神经网络(RNNs)中设计门单元(gate units)，特殊设计的门单元能灵活控制信息的转换和选择，使模型学习到鲁棒的序列表示。然而，这些门单元只能保留当前时刻认为重要的信息，而对未来某个时刻很重要的信息可能被丢弃。

第三类是多尺度模式的建模。其具体可分为两小类，第一小类是通过层次化结构堆叠多个隐层。较低层中的隐单元更新频率高，用于学习短期依赖。较高层中的隐单元更新频率低，用于学习长期依赖。这种设计符合许多时间序列中潜在的多尺度结构，即短期依赖关系对局部细粒度变化敏感，而长期依赖关系更关心缓慢变化的趋势信息。然而，堆叠多个隐层是一种隐式建模时间依赖关系的方法，并且不能灵活控制每一层实际捕获的信息。第二小类通过将时间序列分解为多个不同尺度的子序列来显式建模多尺度模式。然而，现有方法都是独立地对每个子序列建模，忽略了这些子序列之间的相关性，从全局角度来看不能达到最优。

发明内容

本发明的目的是提供一种基于交互式多尺度循环神经网络的时间序列预测方法，该时间序列预测方法在时间序列预测模型中同时考虑长期和短期的依赖关系，使得时间序列预测更加准确。

为实现上述发明目的，本发明的技术方案为：

一种基于交互式多尺度循环神经网络的时间序列预测方法，所述方法包括以下步骤：

(1)对待预测的时序序列进行异常值消除处理、归一化处理以及滑动时间窗口划分后，获得时间序列段；

(2)将时间序列段输入时间序列预测模型中，所述时间序列预测模型包括多级小波分解网络、跨尺度交互的RNNs、以及两级注意力机制单元、以及单层的全连接层，利用时间序列预测模型对时间序列段进行时间序列预测，具体过程为：

(2-1)利用多级小波分解网络对时间序列段进行n级分解，得到多尺度子序列集合；

(2-2)将多尺度子序列集合输入到跨尺度交互的循环神经网络中，采用截断、初始化和消息传递三种策略对多尺度子序列进行跨尺度交互过程，输出为表示相邻尺度子序列之间的相关性的多尺度表示；