[发明专利]字符序列处理方法及设备

说明书

本发明的目的是提供一种字符序列处理方法及设备，提出一种结合利用词向量和字向量的方案，提供所述连续词向量序列中的词向量个数与所述连续字向量序列中的字向量个数一致，所述连续字向量序列中的每一个字向量与所述连续词向量序列中的一个词向量对应，可以实现依序将所述连续字向量序列中的每一个字向量与所述连续词向量序列中对应的一个词向量拼接，得到字词混合的连续向量序列。在本发明中，因为同时使用了词向量和字向量，使得得到的字词混合的连续向量序列可以包含对应的词向量和字向量的语义信息。

技术领域

本发明涉及计算机领域，尤其涉及一种字符序列处理方法及设备。

背景技术

近几年，随着深度学习领域的飞速发展，越来越多的自然语言处理相关的任务也逐渐从传统的做法转向使用深度学习的方法，在效果上也有明显的提升。这些任务中比较典型的有：机器翻译，文本生成，情感分类，智能问答等。

在用深度学习的方法去做自然语言处理相关任务时，不同的任务我们会使用不同的模型，比如用Seq2Seq模型来做机器翻译，用CNN分类器来做情感分类等。但几乎所有任务都有共通的一步，那就是首先要将离散的字符序列转为一个连续向量的序列。

现有的自然语言处理任务中，在将离散的中文字符序列转为连续向量序列的任务中，有两种方案：

一是采用字向量，具体做法是将中文字符序列中的每个字通过事先训练好的字向量矩阵映射到一个连续向量值；

另一种方案是采用词向量，具体做法是先将中文字符序列做分词，再用事先训练好的词向量矩阵将每个词映射到一个连续向量值。

这两种方案都有各自的缺点。字向量的方案由于省略了分词的步骤，直接以字为单位做映射，因而缺失了词的语义信息；词向量的方案则因为在分词后可能产生一些词表外的词(oov),这些oov词因为无法在词向量矩阵中找到对应项，因而最终得到的向量值无法准确表征其语义。同时，由于分词这一步骤不可避免的存在一定的错误率，导致根据错误分词得到的词向量包含了错误的语义信息。

发明内容

本发明的一个目的是提供一种字符序列处理方法及设备，能够解决现有的字向量的方案缺失了词的语义信息，而现有的词向量的方最终得到的向量值在某些情况下无法准确表征其语义的问题。

根据本发明的一个方面，提供了一种字符序列处理方法，该方法包括：

获取字向量矩阵和词向量矩阵；

根据所述字向量矩阵，将待转换字符序列中的每个字依序转换为对应的字向量，根据依次转换得到的各字向量得到连续字向量序列；

将所述待转换字符序列依序进行分词，以得到对应的词语序列；

根据所述词向量矩阵，依序将所述词语序列中的每个词，转换为对应的词向量，根据转换得到的各词向量得到连续词向量序列，其中，所述连续词向量序列中的词向量个数与所述连续字向量序列中的字向量个数一致，所述连续字向量序列中的每一个字向量与所述连续词向量序列中的一个词向量对应；

依序将所述连续字向量序列中的每一个字向量与所述连续词向量序列中对应的一个词向量拼接，得到字词混合的连续向量序列。

进一步的，上述方法中，根据所述词向量矩阵，依序将所述词语序列中的每个词，转换为对应的词向量，根据转换得到的各词向量得到连续词向量序列，包括：

根据所述词向量矩阵，依序将所述词语序列中的每个词中的每个字映射到该字所属的词的词向量。

进一步的，上述方法中，根据所述词向量矩阵，依序将所述词语序列中的每个词中的每个字映射到该字所属的词的词向量中，

若某个词的字无法根据所述词向量矩阵映射得到该字所属的词对应的词向量，则将该字转换为预设的词向量。