[发明专利]一种基于循环神经网络的输入方法及装置

说明书

本发明公开了一种基于循环神经网络的输入方法及装置，该方法中，在获取词向量矩阵后，根据词向量矩阵构建过完备基底矩阵，根据过完备基底矩阵构建稀疏表示下标矩阵和稀疏表示系数矩阵。需要推荐候选词时，根据过完备基底矩阵、稀疏表示下标矩阵和稀疏表示系数矩阵，获取所需词语的词向量，根据该词向量和循环神经网络模型获取候选词。本发明通过过完备基底矩阵、稀疏表示下标矩阵和稀疏表示系数矩阵获取各个词语的词向量。而过完备基底矩阵、稀疏表示下标矩阵和稀疏表示系数矩阵的容量之和小于词向量矩阵，本发明的方案占用终端设备的空间较小，且计算量较小，从而减少对终端设备的存储能力和运量能力的需求，能够在多种终端设备中应用。

技术领域

本申请涉及信息输入领域，尤其涉及一种基于循环神经网络的输入方法及装置。

背景技术

随着科技发展，多种终端设备应运而生，例如手机、智能电视和计算机等，以满足用户的工作和娱乐需求。在终端设备的使用过程中，用户有时需要输入信息，以便终端设备根据接收到的信息执行相应的操作。为了提高输入效率，优化用户的体验，现有输入方法通常会提供候选词推荐功能。该功能用于根据用户输入的前几个词语，推测出用户希望输入的下一个词语，将其作为候选词，并向用户推荐。

目前，为了实现候选词推荐功能，大部分输入方法采用n元语言模型，这种输入方法中，预先通过大规模的语料统计长度为n的词组出现的频率，据此构建n元语言模型，然后根据用户已经输入的前n-1个词语以及该n元语言模型，确定需要向用户推荐的下一个词语(即候选词)。但是，受到n元语言模型的模型大小和数据稀疏问题的制约，应用该方案时，往往只能根据输入的前n-1个或n-2个词语去推测候选词，而无法考虑更长的上下文信息，导致推荐的候选词不准确。例如，若用户输入“in two days”，且采用的n元语言模型为三元语言模型，则通过用户输入的“two days”确定候选词，由于通过大规模语料统计，可以确定“two days ago”为常用词组，则三元语言模型会推测候选词为“ago”。但是，“in two daysago”是不符合英语语法的，“ago”并不是一个合适的候选词，导致本次推荐的候选词不准确。

为了解决上述输入方法所具有的推荐候选词不准确的问题，目前还可采用一种应用循环神经网络的输入方法。该方法中，需要构建循环神经网络模型，并将每一个词语分解成一个多维(通常为几百维)的向量，各个词语的向量构成词向量矩阵。其中，若假设用于构建词向量矩阵的词语数量为n，每个词语的词向量维度为e，则词向量矩阵通常为n*e矩阵。当需要向用户推荐候选词时，通过词向量矩阵，能够获取用户输入的各个历史词语的词向量，以及获取当前词的词向量，将各个历史词语的词向量和当前词的词向量输入循环神经网络，循环神经网络即可输出候选词。该方法能够基于用户输入的历史词语的词向量以及当前输入词的词向量，推测得到候选词，从而提高了推荐候选词的准确性。

但是，发明人在本申请的研究过程中发现，应用循环神经网络的输入方法时，每个词语通常被表示成几百维的向量，且词表中往往有几万个单词(即n的数值为几万)，这就导致词向量矩阵中包含上万个几百维的向量(即e的数值为几百)，容量极大，并且根据词向量确定候选词时的计算量较大，对终端设备的存储能力和运量能力具有较高的要求，甚至难以在某些终端设备(例如手机)上应用。

发明内容

本发明实施例公开一种基于循环神经网络的输入方法及装置，以解决现有技术中，词向量矩阵容量极大，并且根据词向量确定候选词时的计算量较大，对终端设备的存储能力和运量能力具有较高的要求的问题。

本发明的第一方面，公开一种基于循环神经网络的输入方法，包括：

获取词向量矩阵，其中，所述词向量矩阵为n*e矩阵，n为词语数量，e为每个词语的词向量维度；

获取所述词向量矩阵中b个词语的词向量，根据所述b个词语的词向量构建过完备基底矩阵，其中，所述过完备基底矩阵为b*e矩阵，所述过完备基底矩阵中的每个基底向量表示所述b个词语对应的一个词向量，b为小于n的正整数；