[发明专利]一种基于改进权重门控单元的时序预测方法

权利要求书

1.一种基于改进权重门控单元的时序预测方法，其特征在于，所述基于改进权重门控单元的时序预测方法包括以下步骤：

对原始数据进行分段预处理，再计算信息熵；所述信息熵通过概率描述事件分布以衡量不同概率事件包含的信息量；

设计新的门控权重单元：引入基于信息熵值的改进权重矩阵代替长短期记忆单元遗忘门矩阵，以根据信息熵动态自适应调整特征权重；

建立基于门控权重单元的训练模型：利用不同的改进变体单元替换预测模型框架中的循环神经网络单元，所述循环神经网络神经网络模型中的RNN-unit表示门控权重单元；

门控权重单元模型的训练与预测。

2.如权利要求1所述的基于改进权重门控单元的时序预测方法，其特征在于，所述对原始数据进行分段预处理，再计算信息熵的方法如下：

(I)将原始数据中的预测特征序列记作f_i(t)，其余的特征序列记为x₁(t)，x₂(t)，……，x_m(t)，其中t为循环神经网络设置的时间步，取值范围为T＝[t_min,t_max]，m为其余特征个数；

(II)计算信息熵时，若预测特征f_i(t)的值域Z＝[c_min,c_max]中包含N个数据，按升序划分10等份，对应区间依次为[c_min,c₁]，[c₁,c₂]，…，[c₈,c₉],[c₉,c₁₀]，其中第l个区间记作Z_l；

(III)统计f_i(t)的值落在各区间Z_l的数据量记为则序列点落在区间Z_l内的概率

(IV)将区间Z_l内的概率带入熵计算公式得到区间Z_l中任一数据的信息熵H(Z_l)：

3.如权利要求1所述的基于改进权重门控单元的时序预测方法，其特征在于，所述设计新的门控权重单元的方法如下：

(1)将原始遗忘门权重矩阵设计为两个新的遗忘门矩阵分别与已激活信息熵σ(E)和(1-σ(E))对应元素相乘得到临时门控输出

(2)按时间步计算，临时门控输出结果相加得到整体遗忘门f^t12，门控权重单元使用整体遗忘门f^t12代替长短期记忆单元遗忘门参与计算，其余更新状态的方式与长短期记忆单元保持相同；

(3)门控权重单元剩余得隐含层状态在t时刻过程与长短期记忆单元相同：

O^t＝σ(W^o*[h^t-1,x_t]+b_o)；

i^t＝σ(Wⁱ*[h^t-1,x_t]+b_i)；

a^t＝tanh(W^c*[h^t-1,x_t]+b_C)；

C^t＝f^t⊙C^t-1+i^t⊙a^t；

h^t＝O^t⊙tanh(C_t)；

其中，分别代表两个临时遗忘门，W₁^f、W₂^f分别代表两个临时遗忘门矩阵，h^t表示隐含层状态，σ(x)为Sigmoid函数，将数据信息熵映射到区间0～1，表示当前数据的信息量；E为输入数据的信息熵矩阵，由原始数据计算概率H(Z_l)后输入信息熵公式计算得到。