[发明专利]实现用于自然语言处理的全句递归神经网络语言模型

说明书

本公开涉及实现用于自然语言处理的全句递归神经网络语言模型。提供了用于估计由自然语言处理所处理的每个全句为正确的似然概率的全句递归神经网络(RNN)语言模型(LM)。对多个句子的语料库中的至少一个完整句子应用噪声对比估计采样器以生成至少一个不正确的句子。使用语料库中的所述至少一个完整句子和所述至少一个不正确的句子训练全句RNN LN，以将所述至少一个完整句子辨别为正确。应用全句递归神经网络语言模型来估计由自然语言处理所处理的每个全句为正确的似然概率。

技术领域

本发明一般而言涉及计算系统，更具体地涉及实现全句(whole sentence)递归神经网络语言模型用于自然语言处理。

背景技术

与其中连接仅馈送到后续层的传统前馈网络相比，递归神经网络(RNN)是包括层内的加权连接的一类神经网络。RNN还可以包括环路(loop)，其使得RNN能够在处理新输入时存储信息，从而便于使用RNN来处理需要考虑先前输入的任务，诸如为言语识别和自然语言处理(NLP)任务实现的时间序列数据。

发明内容

在一个实施例中，一种方法涉及由计算机系统提供全句递归神经网络语言模型，用于估计由自然语言处理所处理的每个全句为正确的似然概率。该方法涉及由计算机系统对多个句子的语料库中的至少一个完整句子应用噪声对比估计采样器以生成至少一个不正确的句子。该方法涉及由计算机系统使用语料库中的所述至少一个完整句子和所述至少一个不正确的句子来训练全句递归神经网络语言模型，以将所述至少一个完整句子辨别为正确。该方法涉及由计算机系统应用全句递归神经网络语言模型来估计由自然语言处理所处理的每个全句为正确的似然概率。

在另一个实施例中，计算机系统包括一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读存储设备，以及存储在一个或多个存储设备中的至少一个上用于由一个或多个处理器中的至少一个经由一个或多个存储器中的至少一个执行的程序指令。所存储的程序指令包括用于提供全句递归神经网络语言模型以估计由自然语言处理所处理的每个全句为正确的似然概率的程序指令。所存储的程序指令包括用于对多个句子的语料库中的至少一个完整句子应用噪声对比估计采样器以生成至少一个不正确的句子的程序指令。所存储的程序指令包括用于使用语料库中的所述至少一个完整句子和所述至少一个不正确的句子来训练全句递归神经网络语言模型以将所述至少一个完整句子辨别为正确的程序指令。所存储的程序指令包括用于应用全句递归神经网络语言模型来估计由自然语言处理所处理的每个全句为正确的似然概率的程序指令。

在另一个实施例中，一种计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有与其一起实施的程序指令，其中该计算机可读存储介质本身不是瞬态信号。该计算机程序产品包括可由计算机执行以使所述计算机通过计算机提供全句递归神经网络语言模型，以用于估计由自然语言处理所处理的每个全句为正确的似然概率的程序指令。该计算机程序产品包括可由计算机执行以使所述计算机通过计算机对多个句子的语料库中的至少一个完整句子应用噪声对比估计采样器以生成至少一个不正确的句子的程序指令。该计算机程序产品包括可由计算机执行以使所述计算机通过计算机使用语料库中的所述至少一个完整句子和所述至少一个不正确的句子来训练全句递归神经网络语言模型，以将所述至少一个完整句子辨别为正确的程序指令。该计算机程序产品包括可由计算机执行以使所述计算机通过计算机应用全句递归神经网络语言模型来估计由自然语言处理所处理的每个全句为正确的似然概率的程序指令。

附图说明

在所附权利要求中阐述了被认为是本发明的一个或多个实施例的特性的新颖特征。但是，当结合附图阅读时，通过参考下面说明性实施例的详细描述，将最好地理解本发明的一个或多个实施例，其中：

图1是图示利用全句RNN语言模型来提高自然语言处理的准确度的系统的一个示例的框图；

图2是图示用于自然语言处理的全句RNN LM与用于全句处理的局部条件模型和非RNN架构模型相比较的框图；