[发明专利]用于语言建模和预测的改进的人工神经网络方法、电子设备

权利要求书

1.一种电子设备，包括：

处理器，

至少一个输入接口，以及

人工神经网络，所述人工神经网络包括输入层、输出层以及至少第一隐藏层和第二隐藏层，其中所述第二隐藏层的单元的数目等于所述输入层的单元的数目；

其中所述处理器被配置为通过以下方式、基于在所述至少一个输入接口处所接收的输入序列项目来生成项目序列中的一个或多个预测的下一项目：

使用存储的数据来取回与所述输入序列项目相对应的上下文向量；

利用所述人工神经网络来处理所述上下文向量；

通过使用所述存储的数据来对所述人工神经网络的所述第二隐藏层的输出进行变换，以在所述人工神经网络的所述输出层处取回输出向量，其中所述输出向量与一个或多个预测的下一项目相对应；以及

输出所述输出向量。

2.根据权利要求1所述的电子设备，其中所述存储的数据是字符组成模型的参数的值，所述字符组成模型是被配置为从项目的单独字符来计算所述项目在多维空间中的位置的预测器，或者所述存储的数据是项目嵌入，所述项目嵌入为项目在所述多维空间中的位置。

3.根据权利要求2所述的电子设备，其中所述存储的数据被保持在高速缓存中，并且其中所述处理器被配置为：从所述字符组成模型来计算与所述输入序列项目相对应的项目嵌入，以及将所述项目嵌入添加到所述高速缓存。

4.根据权利要求1所述的电子设备，其中所述处理器被配置为：通过从高速缓存访问项目嵌入来取回与所述输入序列相对应的所述上下文向量。

5.根据权利要求1所述的电子设备，其中所述处理器被配置为通过以下方式而利用所述人工神经网络来处理所述上下文向量：

向所述人工神经网络的所述输入层提供所述上下文向量；

将所述输入层的内容与第一权重矩阵W₀相乘，并且向所述人工神经网络的所述第一隐藏层提供结果；

利用所述第一隐藏层的节点来处理到所述第一隐藏层的输入，以产生所述第一隐藏层的输出；

将所述第一隐藏层的所述输出与第二权重矩阵W₁相乘，并且向所述人工神经网络的所述第二隐藏层提供结果；以及

利用所述第二隐藏层的节点来处理到所述第二隐藏层的输入，以产生所述第二隐藏层的输出。

6.根据权利要求1所述的电子设备，其中所述人工神经网络还包括递归隐藏向量。

7.根据权利要求6所述的电子设备，其中所述处理器被配置为：在利用所述人工神经网络的所述隐藏层来处理所述输入层的内容之前，将所述输入层的所述内容与所述递归隐藏向量连结。

8.根据权利要求6到7中任一项所述的电子设备，其中所述递归隐藏向量包括指示所述人工神经网络的先前状态的数据。

9.根据权利要求8所述的电子设备，其中所述处理器被配置为：根据所述第一隐藏层的所述输出来更新所述递归隐藏向量。

10.根据权利要求9所述的电子设备，其中所述处理器被配置为：通过利用所述第一隐藏层的所述输出代替所述递归隐藏向量，来更新所述递归隐藏向量。

11.根据权利要求1所述的电子设备，其中所述处理器被配置为：通过取回编码矩阵的行或列来取回所述上下文向量，所述编码矩阵与在所述至少一个输入接口处所接收的所述输入相对应。

12.根据权利要求8所述的电子设备，其中所述处理器被配置为：产生与所述输入序列项目相对应的N选1向量，以及通过使用编码矩阵对所述N选1向量进行变换来取回所述上下文向量。

13.根据权利要求12所述的电子设备，其中对所述N选1向量进行变换包含：使用矩阵乘法来将所述N选1向量与所述编码矩阵相乘。