[发明专利]基于深度时空记忆网络的高维序列数据预测方法和系统

权利要求书

1.一种高维序列数据预测方法，其特征在于，包括：

将高维序列数据输入训练好的预测循环神经网络模型，获取预测结果；

其中，所述训练好的预测循环神经网络模型通过如下步骤获取：

根据第一输入门、第一遗忘门和第一输入调制门搭建任一时刻记忆；根据第二输入门、第二遗忘门和第二输入调制门搭建任一层记忆；搭建任一输出门；根据所述任一时刻记忆、所述任一层记忆和所述任一输出门更新所述任一隐藏状态；

基于所述任一时刻记忆、所述任一层记忆和更新的任一隐藏状态构建任一时空记忆单元，所述任一时空记忆单元为一个长短时间记忆网络；

通过所有时空记忆单元搭建所述预测循环神经网络模型，其中，所述预测循环神经网络模型是以时刻和层为维度的二维模型，所述任一时空记忆单元处于所述任一层记忆对应的层以及所述任一时刻记忆对应的时刻；

将由观测值组成的张量序列数据输入所述预测循环神经网络模型进行训练，获得所述训练好的预测循环神经网络模型。

2.根据权利要求1所述的预测方法，其特征在于，所述根据第一输入门、第一遗忘门和第一输入调制门搭建任一时刻记忆进一步包括：

通过以下公式获取所述第一输入门：

其中，i_t为第一输入门，σ为S型函数Sigmoid，W_xi为计算第一输入门时和x_t做卷积操作的卷积核，*为卷积操作，x_t为任一时刻的输入量，W_hi为计算第一输入门和做卷积操作的卷积核，为任一时刻的上一时刻的隐藏状态，b_i为第一输入门偏差；

通过以下公式获取所述第一遗忘门：

其中，f_t为第一遗忘门，σ为S型函数Sigmoid，W_xf为计算第一遗忘门时和x_t做卷积操作的卷积核，*为卷积操作，x_t为任一时刻的输入量，W_hf为计算第一遗忘门和做卷积操作的卷积核，为任一时刻的上一时刻的隐藏状态，b_f为第一遗忘门偏差；

通过以下公式获取所述第一输入调制门：

其中，g_t为第一输入调制门，φ为双曲正切函数，W_xg为计算第一输入调制门时和x_t做卷积操作的卷积核，*为卷积操作，x_t为任一时刻的输入量，W_hg为计算第一输入调制门和做卷积操作的卷积核，为任一时刻的上一时刻的隐藏状态，b_g为第一输入调制门偏差；

根据所述第一输入门、所述第一遗忘门和所述第一输入调制门，通过下式获取所述任一时刻记忆：

其中，为任一时刻记忆，f_t为第一遗忘门，为哈达玛乘积，为任一时刻的上一时刻的记忆，i_t为第一输入门，g_t为第一输入调制门。