[发明专利]一种基于轻量级循环单元LRU的文本预测方法

权利要求书

1.一种基于轻量级循环单元LRU的文本预测方法，其特征包括如下步骤：

步骤1、对文本语料库进行预处理：

步骤1.1、对所述文本语料库进行清洗和分词处理，得到单词序列；

步骤1.2、从所述单词序列中去除冗余单词后生成词表，在所述词表中另设有虚拟单词OOV用于表征未在所述词表中出现的单词；

步骤1.3、将所述单词序列中每个单词转换为独热编码向量格式，从而得到独热编码序列X；

步骤2、构造包含输入层、隐含层和输出层的轻量级循环单元LRU：

步骤2.1、将所述单词序列中第t个单词的独热编码向量记为x^t，令所述轻量级循环单元LRU经独热编码向量x^t更新后的隐含层神经元状态为h^t；

步骤2.1.1、利用式(1)将第t个单词的独热编码向量x^t映射到词嵌入向量空间V_emb中，得到第t个单词的独热编码向量x^t的词嵌入向量

式(1)中，W_emb为所述词嵌入向量空间V_emb的单词映射矩阵；

步骤2.1.2、利用式(2)将词嵌入向量映射到隐含层向量空间V_h中，得到词嵌入向量的隐含层更新向量

式(2)中，W_h为所述隐含层向量空间V_h的映射矩阵，tanh(·)为双曲正切激活函数；

步骤2.1.3、利用式(3)将隐含层神经元状态h^t-1与第t个单词的独热编码向量x^t合并后，映射到向量空间V_f中，并经S型函数激活，得到隐含层神经元状态的更新系数f^t：

f^t＝σ(Concat(h^t-1,x^t；W_f)) (3)

式(3)中，W_f为所述向量空间V_f的映射矩阵，σ(·)为S型激活函数；当t＝1，h^t-1＝0；

步骤2.1.4、利用式(4)得到第t个单词的独热编码向量x^t对应的隐含层神经元状态h^t：

式(4)中，⊙代表Hadamard积；

步骤2.2、利用式(5)计算第t个单词的独热编码向量x^t在输出层输出的概率向量y^t：

y^t＝g(W_yh^t) (5)

式(5)中，g(·)为softmax激活函数；W_y为输出层的映射矩阵；

步骤3、利用所述独热编码序列X对轻量级循环单元LRU进行训练，并更新网络参数，文本预测模型；

步骤3.1、定义当前训练次数为L，最大训练次数为L_max，并初始化L＝1；

步骤3.2、在第L次训练中，将所述独热编码序列X随机划分为训练集和评估集；

步骤3.3、将所述训练集中任意第t个单词的独热编码向量x^t作为所述轻量级循环单元LRU的输入，并输出对应的第t个概率向量后，与第t+1个单词的独热编码向量x^t+1一起作为交叉熵函数的输入值，从而计算得到第t个单词的独热编码向量x^t的输出误差；

步骤3.4、根据第t个单词的独热编码向量xt输出误差，采用时域反馈算法对轻量级循环单元LRU的各个参数进行更新，从而得到第L次训练的文本预测模型；

步骤3.5、根据步骤3.3，计算所述评估集中的所有单词的独热编码向量对应的输出误差并求和，并判断L＝1是否成立，若成立，则将L+1赋值给L后，返回步骤3.2；否则，执行步骤3.6；

步骤3.6、判断L≥L_max是否成立，若成立，则将第L次训练的文本预测模型作为最终的文本预测模型，否则，执行步骤3.7；

步骤3.7、判断第L次训练中的求和结果是否大于第L-1次训练中的求和结果，若大于，则将第L次训练的文本预测模型作为最终的文本预测模型，否则，返回步骤3.2；

步骤4、给定测试文本，并按照步骤1进行处理，得到待测试的独热编码序列，将所述待测试的独热编码序列依次输入所述最终的文本预测模型中，来更新隐含层神经元状态，并利用所述待测试的独热编码序列中最后一个输入的独热编码向量所更新的隐含层神经元状态来计算测试文本中所有单词的概率向量；

从所述测试文本中所有单词的概率向量中选择最大值所在的位置序号，并将最大值所在的位置序号在词表中相应位置序号对应的单词作为所述测试文本的预测结果。

2.根据权利要求1所述的基于轻量级循环单元LRU的文本预测方法，其特征在于：所述文本语料库为语音语料库，并经过声学模型解码算法处理后，得到文本格式的单词序列。