[发明专利]一种基于深度学习的长期及短期交通流预测模型构建方法

权利要求书

1.一种基于深度学习的长期及短期交通流预测模型构建方法，其特征在于：包括如下：

1、问题制定：

制定多变量时间序列预测的任务：

给出一系列完全观察到的时间系列信号：Y＝{y₁，y₂，...y_T}其中y_t∈Rⁿ，n是可变维度；为了预测y_T+h，其中h是当前时间戳之前的理想地平线，假设{y₁，y₂，...y_T}可用；同样，为了预测下一个时间戳y_T+h+1的值，假设{y₁，y₂，...y_T，y_T+1}可用；在时间戳T处制定输入矩阵X_T＝{y₁，y₂，...y_T}∈R^n×T；根据环境设置的要求选择预测任务的范围；

2、卷积分量：

LSTNet架构是一个深度学习框架，专门针对多变量时间序列预测任务而设计，混合了长期和短期模式；LSTNet架构的第一层是一个没有池的卷积网络，提取时间维度中的短期模式以及变量之间的本地依赖性，卷积层由宽度ω和高度n的多个滤波器组成，高度设置为与变量的数量相同；第k个滤波器扫描输入矩阵X并产生：h_k＝RELU(W_k*X+b_k)，其中：*表示卷积运算，输出h_k是矢量，RELU函数是RELU(x)＝max(0，x)；通过输入矩阵X左边的零填充来使长度为T的每个向量h_k，卷积层的输出矩阵的大小为d_c×T，其中

d_c表示滤波器的数量；

3、经常性组件：

卷积层的输出同时馈入Recurrent组件和Recurrent-skip组件，Recurrent组件是具有门控循环单元GRU的循环层，并使用RELU功能作为隐藏更新激活功能，时间t处的重复单位的隐藏状态计算为：

r_t＝σ(x_tW_xr+h_t-1W_xr+b_r)；

u_t＝σ(x_tW_xr+h_t-1W_xr+b_u)；

c_t＝RELU(x_tW_xc+r_t⊙(h_t-1W_xr)+b_r)；

h_t＝(1-u_t)⊙h_t-1+u_t⊙c_t；

其中⊙是元素乘积，σ是sigmoid函数，x_t是该层在时间t的输入；该层的输出是每个时间戳的隐藏状态；

4、递归跳过组件：

开发一个具有时间跳跃连接的循环结构，以扩展信息流的时间跨度，从而简化优化过程，具体的，跳过链接是在当前隐藏单元格和相邻期间处于同一阶段的隐藏单元格之间添加的；更新过程可以表述为：

r_t＝σ(x_tW_xr+h_t-pW_hr+b_r)

u_t＝σ(x_tW_xu+h_t-pW_hu+b_u)

c_t＝RELU(x_tW_xc+r_t⊙(h_t-pW_hc)+b_c)

h_t＝(1-u_t)⊙h_t-p+u_t⊙c_t

这一层的输入是卷积层的输出；p是跳过的隐藏单元数，对于周期模式清晰的数据集，p的值可以很容易地确定，否则就得调；良好的调优p能显著提高模型的性能，此外，LSTNet可以很容易地扩展到包含跳跃长度p的变量；

使用一个密集的层组合的输出的经常性和经常性的跳过组分；对密集层的输入包括在时间戳t处的递归分量的隐藏状态(以表示)，以及反复跳过组件从时间戳t-p+1到t的递归跳过分量p的隐藏状态，表示为密集层的输出计算公式为：

其中，表示神经网络(上)部分在时间戳t上的预测结果；

5、时间注意层：

加入注意机制，它在输入矩阵的每个窗口位置上学习隐式表示的加权组合，具体而言，在当前时间戳t处的注意权重α_t∈R^q计算为：

其中，为RNN列隐表示的矩阵叠加，AttnScore是一些相似的函数，如点积、余弦或由一个简单的多层感知器进行参数化；

时间注意层的最终输出是加权上下文向量c_t＝H_tα_t和最后一个窗口隐藏表示的连接，以及一个线性投影操作：

6、自回归分量：

将LSTNet的最终预测分解成一个线性部分，它主要关注局部缩放问题，以及包含反复出现的模式的非线性部分；在LSTNet体系结构中，采用经典的自回归(AR)模型作为线性分量；所有维度都有相同的线性参数集，AR模型如下：

然后，通过集成神经网络部分和AR组件的输出，得到LSTNet的最终预测：

其中，代表模型在时间戳t时的最终预测；

7、建立目标函数：

平方误差是许多预测任务的默认损失函数，相应的优化目标被表示为：

其中，Θ表示模型的参数集；Ω_TRAIN；||·||_F是Frobenius范数；

线性支持向量回归的目标函数为：

ξ_t，i≥0；

其中，C和ε是超参数，受线性支持向量机模型显著性能的激励，将它的目标函数作为平方损失的一种替代方法纳入LSTNET模型；假定ε＝0¹，上述目标函数降为如下绝对损失函数：

绝对损失函数的优点是它对实时序列数据中的异常更为灵敏，在实验部分，使用验证集来决定使用哪个目标函数，平方损失Eq.7还是绝对损失Eq.9。

2.根据权利要求1所述的基于深度学习的长期及短期交通流预测模型构建方法，其特征在于：优化策略：假设输入的时间序列是Y_t＝{y₁，y₂，...，y_t}，定义一个可调窗口大小q并且在时间戳处重新表示输入t作为X_t＝{y_t-q+1，y_t-q+2，...y_t}，然后，这个问题变成了一个带有一组特征值对{X_t，Y_t+h}的回归任务，可以用随机梯度体面法或者它的变量求解。