[发明专利]一种简化的门控单元神经网络

说明书

本发明公开一种简化的门控单元神经网络，属于深度学习领域。本发明包括：对输入数据集进行数据清洗，选择经典数据集，如Iris数据集，此过程处理数据不平衡问题、归一化以及冗余数据处理问题；利用数据预处理后的数据集训练OGRU神经网络，建立预测模型；获取数据集，进行数据预处理过程，然后输入所获得的OGRU预测模型进行模型预测，得到预测结果。本发明克服传统GRU神经网络结构过于复杂，泛化能力差的问题，并且应用OGRU建立精确高效的预测模型，解决传统方法训练时间过长问题。

技术领域

本发明属于深度学习领域，具体涉及一种简化的门控单元神经网络。

背景技术

随着互联网技术的迅猛发展，神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。

传统的神经网络模型，如BP神经网络等，由于其结构原因容易产生梯度消失、梯度爆炸、过拟合等问题，使得应用该模型预测时往往泛化能力弱；再者，由于其并不能对时间序列上的变化进行建模，从而导致预测精度差。LSTM(Long Short Term Memory)神经网络作为近几年取得重大突破的网络模型，避免了神经网络反向传导的梯度消失问题，且能够学习时序数据之间的长短时间关联关系，对于输入的时序数据自动决定历史数据对预测数据的贡献。而GRU(Gated Recurrent Unit)作为LSTM的一种变体，保持了LSTM的效果同时又简化其结构，受到广泛关注。

发明内容

本发明的目的在于提供一种能简化模型复杂度，提高系统泛化能力的改进GRU神经网络—OGRU神经网络，克服GRU结构复杂、每个参数更新都涉及到与整体网络状态相关的信息等问题，消除其不利影响，增强GRU神经网络的泛化性能。

本发明的目的是这样实现的：

一种简化的门控单元神经网络，其特征在于，包含以下步骤：

步骤一：对输入数据集进行数据清洗，选择经典数据集，如Iris数据集；此过程处理数据不平衡问题、归一化以及冗余数据处理问题；

数据不平衡问题的处理：首先分析正负样本比例，其次根据数据集大小采用不同的采样方法处理；如果数据量较充足，采取欠采样的方法，通过减少样本数据较多的类的数量来平衡数据集；如果数据量较少，采取过采样的方法，通过增加数量较少的类的数量来平衡数据集；

归一化处理：将需要处理的数据经过处理后，限制在一定范围内；归一化是为了后面数据处理的方便，其次是保证程序运行时收敛加快；根据不同占比采取不同归一化方式处理，若某一特征占比高，删除该特征；

处理冗余数据：处理缺失后，根据预测的具体问题分析并提取特征，对主成分进行分析，去掉冗余特征数据，防止其干扰训练结果；

步骤二：利用数据预处理后的数据集训练OGRU神经网络，建立预测模型：

OGRU神经网络由输入层、输出层、隐含层组成，隐含层由OGRU神经元构成，OGRU神经网络的输入数据为经过数据预处理后的的t时刻的数据，输出数据为预测的结果；OGRU是在 GRU的基础上简化而来；

标准LSTM单元包括输入门input gate、遗忘门forget gate、输出门output gate和 cell单元；而标准的GRU则是LSTM的变体，GRU单元组合了遗忘门和输入门为一个“更新门”，它合并了神经元状态和隐层状态，只有更新门和重置门；设输入序列为(x₁，x₂，…，x_t)，则在t时刻更新门、重置门、标准GRU单元输出计算公式如下所示：

z_t＝σ(W_z*[h_t-1,x_t]) (1)