[发明专利]基于深度时空记忆网络的高维序列数据预测方法和系统

说明书

技术领域

本发明涉及计算机数据分析领域，更具体地，涉及一种基于深度时空记忆网络的高维序列数据预测方法和系统。

背景技术

数据挖掘的研究是以数据本身的特性为基础，通过建模来实现对海量数据中隐藏信息的利用的，因此，能否充分捕捉数据中的种种隐含联系是评价一个模型优劣的重要标准。作为生活在时间和空间中的生物，能够收集到同时具有时间和空间两种维度层次的数据。例如降水量数据中不仅包含在某一特定时间时，一定范围内降水量分布情况的空间分布数据，还包含在某一特定空间位置的降水量时间分布数据。如果仅仅从空间维度或者时间维度来分析数据，必然会造成显著地信息损失。

最近一段时间，数据挖掘领域最前沿的研究已经在单纯涉及时间维度或者空间维度的问题上实现突破性进展，如以递归神经网络为代表的时间序列数据分析方法，和以卷积神经网络为代表的空间数据分析方法。但是，针对将时间数据和空间数据整合在一起进行分析的数据挖掘方法还远没有达到预期。同时，对于时空数据分析方法的需求是巨大的，诸如天气预报、视频分类、图像预测等真实应用场景需要对时空数据进行处理。

发明内容

本发明提供一种克服上述问题的一种基于深度时空记忆网络的高维序列数据预测方法和系统。

根据本发明的一个方面，提供一种基于深度时空记忆网络的高维序列数据预测方法，包括：将高维序列数据输入训练好的预测循环神经网络模型，获取预测结果；其中，所述训练好的预测循环神经网络模型通过如下步骤获取：根据第一输入门、第一遗忘门和第一输入调制门搭建任一时刻记忆；根据第二输入门、第二遗忘门和第二输入调制门搭建任一层记忆；搭建任一输出门；根据所述任一时刻记忆、所述任一层记忆和所述任一输出门更新所述任一隐藏状态；基于所述任一时刻记忆、所述任一层记忆和更新的任一隐藏状态构建任一时空记忆单元，所述任一时空记忆单元为一个长短时间记忆网络；通过所有时空记忆单元搭建所述预测循环神经网络模型，其中，所述预测循环神经网络模型是以时刻和层为维度的二维模型，所述任一时空记忆单元处于所述任一层记忆对应的层以及所述任一时刻记忆对应的时刻；将由观测值组成的张量序列数据输入所述预测循环神经网络模型进行训练，获得所述训练好的预测循环神经网络模型。

优选地，所述根据第一输入门、第一遗忘门和第一输入调制门搭建任一时刻记忆进一步包括：通过以下公式获取所述第一输入门：

其中，i_t为第一输入门，σ为S型函数Sigmoid，W_xi为计算第一输入门时和做卷积操作的卷积核，*为卷积操作，为任一时刻的输入量，W_hi为计算第一输入门和做卷积操作的卷积核，为任一时刻的上一时刻的隐藏状态，b_i为第一输入门偏差；

通过以下公式获取所述第一遗忘门：

其中，f_t为第一遗忘门，σ为S型函数Sigmoid，W_xf为计算第一遗忘门时和做卷积操作的卷积核，*为卷积操作，为任一时刻的输入量，W_hf为计算第一遗忘门和做卷积操作的卷积核，为任一时刻的上一时刻的隐藏状态，b_f为第一遗忘门偏差；

通过以下公式获取所述第一输入调制门：

其中，g_t为第一输入调制门，φ为双曲正切函数，W_xg为计算第一输入调制门时和做卷积操作的卷积核，*为卷积操作，为任一时刻的输入量，W_hg为计算第一输入调制门和做卷积操作的卷积核，为任一时刻的上一时刻的隐藏状态，b_g为第一输入调制门偏差；根据所述第一输入门、所述第一遗忘门和所述第一输入调制门，通过下式获取所述任一时刻记忆：

其中，为任一时刻记忆，f_t为第一遗忘门，⊙为哈达玛乘积，为任一时刻的上一时刻的记忆，i_t为第一输入门，g_t为第一输入调制门。

优选地，所述根据第二输入门、第二遗忘门和第二输入调制门搭建任一层记忆进一步包括：通过以下公式获取所述第二输入门：