[发明专利]基于局部感知递归神经网络的字符级语言模型预测方法

摘要

本发明公开一种基于局部感知递归神经网络的字符级语言模型预测方法，使用递归神经网络的处理形式，将三层网络按层次组合在一起，低层次获取局部字符间的特征，高层次获取文本的语义特征，从而使新模型具有更强的信息综合能力，且更容易处理较长的数据序列。该方法使用BPTT‑RNN(递归神经网络反向传播算法)有监督的方法训练；首先使用adadelta(自适应学习率调整)优化训练至测试集BPC低于1.45，使之快速收敛，再使用学习速率0.0001、动量为0.9的SGD(随机梯度下降)优化方法训练，以获得较好的测试结果。

主权项

1.一种基于局部感知递归神经网络的字符级语言模型预测方法，其特征在于，包括以下步骤：步骤A，数据预处理，将PTB数据分为训练、验证和测试三种数据集，对所述三种数据集包含的所有字符按ASCII码进行排序，再将所述数据集的字符向前错位1步位置，按索引表示生成目标集；步骤B，神经网络构建，所述局部感知递归神经网络包括依次非线性连接的a隐藏层、b隐藏层及h隐藏层；所述局部感知递归神经网络后面依次连接神经元数量为102的全连接层、ReLU层、神经元数量为102的全连接层、ReLU层、神经元数量为51的全连接层以及SoftMax回归层；步骤C，神经网络训练，首先使用adadelta优化训练至测试集BPC低于1.45，再使用学习速率0.0001、动量为0.9的SGD优化方法训练，如果训练时在测试集上的BPC值连续两次不再降低，则学习速率减半；通过训练数据的前向传播计算每个节点的值，通过与目标期望值的比较，计算出损失函数，然后进行误差的反向传播，由输出层开始逐层计算各层神经元的输出误差，使用所述步骤C中的方法训练神经网络，得到最终模型训练结果，根据误差梯度下降法来调节各层的权值，使修改后的网络的最终输出接近期望值。