[发明专利]具有用于语言建模和预测的副输入的人工神经网络

说明书

本发明涉及经改进的人工神经网络，其用于基于输入序列项目来预测项目的序列中的一个或多个接下来的项目。所述人工神经网络是在电子设备上实现的，所述电子设备包括处理器，以及被配置为接收一个或多个输入序列项目的至少一个输入接口，其中，所述处理器被配置为实现所述人工智能网络并且通过以下方式使用所述人工神经网络来生成项目的序列中的一个或多个经预测的接下来的项目：将在所述至少一个输入接口处接收的输入序列项目以及副输入作为输入提供至所述人工神经网络，其中，所述副输入被配置为保存在输入接口处接收的输入序列项目的记录。

背景技术

诸如移动电话和平板计算机之类的现代移动电子设备通常接收经由软键盘键入的用户输入，所述设备包括超越简单地接收键盘输入的多种额外的功能。这些额外的功能中的一个是用于在已知被输入的一个或多个先前的词语的情况下预测用户将经由键盘输入的接下来的词语的功能。该预测通常是使用基于n元(n元)的预测性语言模型生成的，例如，在专利号为2414915的欧洲专利中详细描述的。

基于n元的预测性语言模型的常常被批评的其中一个缺点在于其依赖于仅几个先前的词语的统计相关性。相比之下，人工神经网络，并且特别是循环神经网络语言模型，已经在本领域中显示出在语言预测方面比n元模型更好地执行(《基于语言模型的循环神经网络》，Mikolov等人，2010；《RNNLM——循环神经网络语言建模工具包》，Mikolov等人，2011)。

人工神经网络是一种统计学习算法，其架构是从在动物的中央神经系统中发现的神经元和突触的网络中导出的。人工神经网络是用于近似估计取决于大量输入的未知函数的有效工具。然而，在该上下文中，“函数”不应当将其可能的最宽含义给出为“将输入映射至输出的任何操作”。人工神经网络不仅对于近似估计数学函数是有用的，还对于找到作为分类器在数据处理和机器人等中的宽泛使用是有用的。

为了近似估计这些未知函数，基于已知输入和相关联的已知输出的大型数据集来训练人工神经网络。已知的输入被输入至人工神经网络，并且该人工神经网络的各种内部属性的值被反复地调整，直到该人工神经网络输出或近似估计出针对已知输入的已知输出为止。通过使用具有许多组已知输入和输出的大型数据集来实行该训练过程，该人工神经网络被训练为近似估计将已知输入映射至已知输出的底层函数。常常，用于近似估计非常不同的函数的人工神经网络具有人工神经元和突触的相同的一般架构；这是提供期望的行为的训练过程。

当使用语言模型来执行语言预测时，常常期望将该语言模型的上下文(例如，该语言模型的先前状态)考虑在内。诸如由Mikolov等人所描述的循环神经网络语言模型之类的利用上下文的现有解决方案限于短期上下文，其涉及在进行预测时的当前句子或段落。

因此，存在对能够在进行语言预测时将较长期的上下文考虑在内的人工神经网络预测性语言模型的需求。

发明内容

在本文发明的第一方面中，提供了电子设备，所述电子设备包括处理器，以及被配置为接收一个或多个输入序列项目的至少一个输入接口。所述处理器被配置为实现人工神经网络并且通过以下方式使用所述人工神经网络来生成项目的序列中的一个或多个经预测的接下来的项目：将在所述至少一个输入接口处接收的输入序列项目以及副(side)输入作为输入提供至所述人工神经网络，其中，所述副输入被配置为保存在输入接口处接收的输入序列项目的记录。

电子设备的处理器被配置为：通过将输入序列项目和副输入作为输入提供至人工神经网络的输入层来生成项目的序列中的一个或多个经预测的接下来的项目。

所述处理器可以被配置为生成序列中的一个或多个经预测的后续的项目。可以通过将第二输入序列项目和副输入作为输入提供至人工神经网络的输入层来生成所述一个或多个经预测的后续的项目。第二输入序列项目可以是由人工神经网络输出的、序列中先前预测的接下来的项目。

在本发明的一些实施例中，人工神经网络可以是固定上下文的神经网络。