[发明专利]神经网络数据录入系统

权利要求书

1.一种数据录入系统，其包括：

用户接口，其接收由用户输入的一个或多个上下文文本项的序列；

预测器，其被训练用以预测所述序列中的接下来的项；

所述预测器包括多个经学习的文本项嵌入，每个文本项嵌入表示数值式形式的文本项，所述文本项嵌入具有多个不同的长度；

投射组件，其获得所述上下文文本项的文本项嵌入并将这些文本项嵌入投射为具有相同的长度；

所述预测器包括经训练的神经网络，其被馈送所投射的文本项嵌入并且其计算与所预测的接下来的项相关联的数值式输出。

2.根据权利要求1所述的数据录入系统，还包括：评分组件，其接收所述预测器的所述数值式输出，并参照不同的长度的多个项嵌入中的每个项嵌入来计算所述数值式输出的多个评分，所述项嵌入是来自词汇表的文本项。

3.根据权利要求2所述的数据录入系统，其中，所述评分组件被配置为：计算所述预测器的所述数值式输出的前缀与具有与所述前缀相同的长度的项嵌入的点积。

4.根据权利要求2所述的数据录入系统，包括项嵌入的至少一个表，包括由所述评分组件使用的所述词汇表中的文本项的所述项嵌入、以及所述上下文文本项的所述文本项嵌入。

5.根据权利要求4所述的数据录入系统，其中，项嵌入的所述至少一个表被存储在多个分开的阵列中，针对每个项嵌入长度有一个阵列。

6.根据权利要求4所述的数据录入系统，其中，具有相同的长度的项嵌入被存储为项嵌入的所述表中的相邻行。

7.根据权利要求4所述的数据录入系统，其中，项嵌入的所述至少一个表被存储为单个阵列，其中，具有相同的长度的项嵌入被存储为所述阵列的相邻行，并且其中，关于哪些范围的行存储了哪些长度的项嵌入的信息也被存储。

8.根据权利要求1或2中的任一项所述的数据录入系统，其中，所述投射组件包括至少两个神经网络，一个神经网络被训练用以将项嵌入向上投射到预先确定的长度，一个神经网络被训练用以将项嵌入从所述预先确定的长度向下投射到比所述预先确定的长度短的长度。

9.根据权利要求8所述的数据录入系统，其中，所述投射组件包括针对项嵌入的每个长度的两个神经网络，所述针对项嵌入的每个长度比项嵌入的所述预先确定的长度短。

10.根据权利要求1或2中的任一项所述的数据录入系统，其中，所述投射组件通过添加零以增加所述上下文文本项的所述项嵌入中的一些项嵌入的长度来将所述上下文文本项的所述项嵌入投射为相同的长度。

11.根据权利要求1或2中的任一项所述的数据录入系统，其中，所述投射组件通过乘以经学习的适配器矩阵来投射所述上下文文本项的所述项嵌入。

12.根据权利要求11所述的数据录入系统，其中，所述投射组件包括多个经学习的适配器矩阵，针对每个小于指定最大值的可能的项嵌入长度有一个经学习的适配器矩阵；并且其中，所述投射组件被配置为：作为所述神经网络的训练的一部分，学习所述适配器矩阵，并且其中，所述投射组件被配置为：通过使用所述经学习的适配器矩阵减小所述预测器的所述数值式输出的长度，来对所述预测器的所述数值式输出进行向下投射。

13.根据权利要求1或2中的任一项所述的数据录入系统，其中，所述投射组件被配置为：通过减小所述预测器的所述数值式输出的长度以匹配由评分组件用以计算所述数值式输出的评分的词汇表中的一个或多个文本项嵌入的长度，来对所述预测器的所述数值式输出进行向下投射。

14.根据权利要求13所述的数据录入系统，其中，所述向下投射包括：计算所述预测器的所述数值式输出与适配器矩阵的乘积，然后计算所述乘积的结果与具有与所述适配器矩阵相关联的长度的项嵌入的点积。

15.一种计算机实现的方法，其包括：

接收由用户输入的一个或多个上下文文本项的序列；

在存储器处存储多个经学习的文本项嵌入，每个文本项嵌入表示数值式形式的文本项，所述文本项嵌入具有多个不同的长度；

从所述存储器中检索所述上下文文本项的文本项嵌入，并将所检索的文本项嵌入投射为具有相同的长度；以及

将所投射的文本项嵌入输入到经训练的神经网络语言模型，并且计算与所述序列中的经预测的接下来的项相关联的数值式输出。