[发明专利]神经网络数据录入系统

说明书

描述了一种数据录入系统，其具有接收由用户输入的一个或多个上下文文本项的序列的用户接口。数据录入系统具有被训练用以预测序列中的接下来的项的预测器。预测器包括多个经学习的文本项嵌入，每个文本项嵌入表示数值式形式的文本项，文本项嵌入具有多个不同的长度。投射组件获得上下文文本项的文本项嵌入并将这些文本项嵌入投射为具有相同的长度。预测器包括经训练的神经网络，其被馈送所投射的文本项嵌入并且其计算与经预测的接下来的项相关联的数值式输出。

背景技术

诸如将文本字符、表情符号和其它数据输入到具有小的尺寸的电子设备中的数据录入对于终端用户来说是耗时、麻烦且易于出错的。一种用于助于数据录入的方法是提供预测键盘，例如软键盘，其显示在电子设备的触摸屏上并由终端用户用于键入字符、表情符号、符号和其它数据。预测键盘通常呈现一个或多个预测的候选的词或短语作为供用户进行选择并从而键入电子设备的选项。

用于提供这种预测键盘的功能的技术在某些情况下包括神经网络技术。例如，在神经网络用于预测用户可能想要输入的候选的词的情况下。然而，神经网络占用了大量资源(例如存储器和处理资源)，这使得难以在神经网络位于资源受限的设备(如智能电话、平板电脑、可穿戴计算机或其它资源受限的设备)的情况下实现良好的执行准确度。

下文描述的实施例不局限于用于解决使用神经网络技术的已知数据录入系统的任何或所有缺点的实现方案。

发明内容

下面给出了对本公开内容的简化的概括以便向读者提供基本理解。本发明内容并不旨在确定要求保护的发明主题的关键特征或重要特征，也不旨在用于限制要求保护的发明主题的范围。其唯一目的是用简化的形式呈现对在本文中公开的概念的选择，作为稍后给出的更详细说明的前序。

描述了一种数据录入系统，其具有接收由用户输入的一个或多个上下文文本项的序列的用户接口。所述数据录入系统具有被训练用以预测所述序列中的接下来的项的预测器。所述预测器包括多个经学习的文本项嵌入，每个文本项嵌入表示数值式形式的文本项，所述文本项嵌入具有多个不同的长度。投射组件获得所述上下文文本项的文本项嵌入并将这些所述上下文文本项的文本项投射为具有相同的长度。所述预测器包括：经训练的神经网络，其被馈送经投射的文本项嵌入并且计算与经预测的接下来的项相关联的数值式输出。

由于通过参找结合附图考虑的以下具体实施方式，许多附带特征变得更好理解，因此许多附带特征将更加容易领会。

附图说明

根据考虑到附图阅读的以下具体实施方式将更好地理解本说明书，在附图中：

图1是具有神经网络数据录入系统的各种电子设备的示意图；

图2是示出了用于数据录入的用户接口显示的智能电话的示意图；

图3是神经网络语言模型的示意图；

图4是神经网络数据录入系统处的过程的流程图；

图5是具有全长度嵌入的文本项嵌入表、具有可变长度嵌入的对应文本项嵌入表以及两个适配器矩阵的示意图；

图6是投射组件处的过程的示意图；

图7是评分组件处的过程的示意图；

图8A是另一个投射组件处的过程的示意图；

图8B是评分组件处的另一个过程的示意图；

图9示出了在其中实现神经网络数据录入系统的实施例的示例性基于计算的设备。

相同的附图标记用于表示附图中相同的部件。

具体实施方式

结合附图在下文中提供的具体实施方式旨在作为所给出示例的描述，而不是旨在用以表示构造或使用所给出的示例的唯一形式。该描述阐述了示例的功能和用于构造和操作示例的操作的序列。然而，相同的或等效的功能和序列可以由不同的示例来实现。