[发明专利]一种简化的门控单元神经网络

权利要求书

1.一种简化的门控单元神经网络，其特征在于，包含以下步骤：

步骤一：对输入数据集进行数据清洗，选择经典数据集，如Iris数据集；此过程处理数据不平衡问题、归一化以及冗余数据处理问题；

数据不平衡问题的处理：首先分析正负样本比例，其次根据数据集大小采用不同的采样方法处理；如果数据量较充足，采取欠采样的方法，通过减少样本数据较多的类的数量来平衡数据集；如果数据量较少，采取过采样的方法，通过增加数量较少的类的数量来平衡数据集；

归一化处理：将需要处理的数据经过处理后，限制在一定范围内；归一化是为了后面数据处理的方便，其次是保证程序运行时收敛加快；根据不同占比采取不同归一化方式处理，若某一特征占比高，删除该特征；

处理冗余数据：处理缺失后，根据预测的具体问题分析并提取特征，对主成分进行分析，去掉冗余特征数据，防止其干扰训练结果；

步骤二：利用数据预处理后的数据集训练OGRU神经网络，建立预测模型：

OGRU神经网络由输入层、输出层、隐含层组成，隐含层由OGRU神经元构成，OGRU神经网络的输入数据为经过数据预处理后的的t时刻的数据，输出数据为预测的结果；OGRU是在GRU的基础上简化而来；

标准LSTM单元包括输入门input gate、遗忘门forget gate、输出门output gate和cell单元；而标准的GRU则是LSTM的变体，GRU单元组合了遗忘门和输入门为一个“更新门”，它合并了神经元状态和隐层状态，只有更新门和重置门；设输入序列为(x₁，x₂，…，x_t)，则在t时刻更新门、重置门、标准GRU单元输出计算公式如下所示：

z_t＝σ(W_z*[h_t-1,x_t]) (1)

r_t＝σ(W_r*[h_t-1,x_t]) (2)

n_t＝tanh(W*[r_t*h_t-1,x_t]) (3)

h_t＝(1-z_t)*h_t-1+z_t*n_t (4)

其中z_t表示t时刻更新门的输出；W_t表示输入和h_t-1之间的权重；r_t表示t时刻重置门的输出；W_r表示输入和h_t-1之间的权重；其中h_t-1表示t-1时刻标准GRU单元输出；x_t表示t时刻的输入的数据；n_t表示t时刻用tanh层来创建的一个新的候选值向量，并将其加入到当前状态中；W表示更新门的输出z_t和输入之间的权重；h_t表示t时刻标准GRU单元的输出，更新当前神经元状态，把前一层状态h_t-1与(1-z_t)相乘，丢弃需要丢弃的信息，加上z_t与n_t相乘，就是新的候选值，即标准GRU的输出；σ为sigmoid激活函数，sigmoid与tanh为两种神经网络常用的神经元激活函数；

在更新门做出改进，将原更新门输入中的h_t-1更改为h_t-1与r_t相乘，即用重置门的输出来调整更新门，对其进行反馈；多加一次更新迭代，通过控制同一时刻低层的记忆单元向邻近高层记忆单元的信息流传输，以求实现预测结果的高精准；提出一种基于标准GRU改进的变体神经网络，OGRU神经网络；

OGRU是GRU的变体，它组合重置门与输入，对更新门进行“更新”并输出；设输入序列为(x₁，x₂，…，x_t)，则在t时刻更新门、重置门、标准OGRU单元输出计算公式如下所示：

r_t＝σ(W_r*[h_t-1,x_t]) (5)

z_t＝σ(W_z*[h_t-1*r_t,x_t]) (6)

n_t＝tanh(W*[r_t*h_t-1,x_t]) (7)

h_t＝(1-z_t)*h_t-1+z_t*n_t (8)

y_t＝σ(W_o*h_t) (9)

其中，公式(5)、公式(7)以及公式(8)与标准GRU中公式(2)、公式(3)以及公式(4)一致，参数说明不再赘述；不同的是更新门公式(6)与输出结果公式(9)，z_t表示t时刻更新门的输出；W_t表示输入数据和h_t-1与r_t乘积之间的权重；y_t表示t时刻OGRU神经网络的输出，即预测结果，W_o表示h_t的权重；

训练OGRU神经网络的目标是使得网络的预测输出y_t+1和实际的输出相等，定义网络的损失函数如公式(10)所示：

通过梯度下降法最小化损失函数L可以训练出OGRU网络中的权值和偏置，得到预测模型；

步骤三：获取数据集采用步骤一同样的方法进行数据预处理过程，然后输入步骤二所获得的OGRU预测模型进行模型预测，得到预测结果；

获取t时刻数据集的输入数据D_t，以及最近一次时间以前的状态数据D_t-1，D_t-2，...，D_t-N；利用步骤一中方法，对D_t，D_t-1，D_t-2，...，D_t-N进行数据的预处理；将经过预处理过的D_t，D_t-1，D_t-2，...，D_t-N数据输入到步骤二所获得的OGRU预测模型中，获取预测结果进行反归一化后，得到t时刻神经网络预测结果即输出结果。