[发明专利]基于局部感知递归神经网络的字符级语言模型预测方法

权利要求书

1.一种基于局部感知递归神经网络的字符级语言模型预测方法，其特征在于，包括以下步骤：

步骤A，数据预处理，将PTB数据分为训练、验证和测试三种数据集，对所述三种数据集包含的所有字符按ASCII码进行排序，再将所述数据集的字符向前错位1步位置，按索引表示生成目标集；

步骤B，神经网络构建，所述局部感知递归神经网络包括依次非线性连接的a隐藏层、b隐藏层及h隐藏层；所述局部感知递归神经网络后面依次连接神经元数量为102的全连接层、ReLU层、神经元数量为102的全连接层、ReLU层、神经元数量为51的全连接层以及SoftMax回归层；

步骤C，神经网络训练，首先使用adadelta优化训练至测试集BPC低于1.45，再使用学习速率0.0001、动量为0.9的SGD优化方法训练，如果训练时在测试集上的BPC值连续两次不再降低，则学习速率减半；

通过训练数据的前向传播计算每个节点的值，通过与目标期望值的比较，计算出损失函数，然后进行误差的反向传播，由输出层开始逐层计算各层神经元的输出误差，使用所述步骤C中的方法训练神经网络，得到最终模型训练结果，根据误差梯度下降法来调节各层的权值，使修改后的网络的最终输出接近期望值。

2.根据权利要求1所述的一种基于局部感知递归神经网络的字符级语言模型预测方法，其特征在于，步骤A中所述按索引表示的方法为通过OneHot层将数据用51维的字符向量表示，所述OneHot层与局部感知递归神经网络的前端通过神经元数量为51的全连接层连接。

3.根据权利要求1所述的一种基于局部感知递归神经网络的字符级语言模型预测方法，其特征在于，步骤B中所述局部感知递归神经网络通过以下公式构建：

a_t＝Tanh(W_a[x_t,a_t-1,b_t-1]+b_a)，

f1_t＝Sigmoid(W_f1[a_t,b_t-1]+b_f1)，

i1_t＝Sigmoid(W_i1[a_t,b_t-1]+b_i1)，

b_t＝i1_t⊙W_baa_t+f1_t⊙W_bbb_t-1+b_b，

f2_t＝Sigmoid(W_f2[x_t,b_t,h_t-1]+b_f2)，

i2_t＝Sigmoid(W_i2[x_t,b_t,h_t-1]+b_i2)，

h_t＝f2_t⊙W_hhh_t-1+i2_t⊙Tanh(W_h[x_t,b_t]+b_h)。