[发明专利]分词方法及装置、建立句子向量生成模型方法及装置

权利要求书

1.一种分词方法，其特征在于，包括：

通过分词技术对待分词句子进行初步分词处理，以得到若干初步分词结果；

将所述若干初步分词结果中的词语转化为词向量；

将每一所述初步分词结果的所述词向量输入句子向量生成模型，以得到每一所述初步分词结果的第一句子向量；

根据预设算法计算所述待分词句子的标准句子向量；

将与所述标准句子向量的相似度最高的第一句子向量所对应的初步分词结果确定为所述待分词句子的最终分词结果；

其中，所述句子向量生成模型为通过句子语料库中的每一句子的标准分词结果的词向量作为输入以及对应的句子的标准句子向量作为输出训练循环神经网络所生成的。

2.如权利要求1所述的一种分词方法，其特征在于，所述将与所述标准句子向量的相似度最高的第一句子向量所对应的初步分词结果确定为所述待分词句子的最终分词结果包括：

计算每一所述第一句子向量与所述标准句子向量之间的距离；其中，所述距离为余弦距离或欧式距离；

比较每一所述第一句子向量与所述标准句子向量之间的距离的数值大小关系，确定所述距离的数值最小的所述第一句子向量所对应的初步分词结果为最终分词结果。

3.如权利要求1所述的一种分词方法，其特征在于，所述根据预设算法计算所述待分词句子的标准句子向量包括：

根据sentence2vec算法计算所述待分词句子的标准句子向量。

4.如权利要求1所述的一种分词方法，其特征在于，所述将所述若干初步分词结果中的词语转化为词向量包括：

获取词向量模型，并通过词向量模型将所述初步分词结果中的词语转化为词向量；

所述获取词向量模型的过程包括：

获取目标领域的文本语料库；

对所述文本语料库进行预处理，其中，所述预处理包括分词处理和去停用词处理；

通过word2vec算法对预处理后的所述文本语料库的数据进行训练，以得到所述词向量模型。

5.如权利要求1所述的一种分词方法，其特征在于，所述句子向量生成模型为通过句子语料库中的每一句子的标准分词结果的词向量作为输入以及对应的句子的标准句子向量作为输出训练循环神经网络所生成的生成过程包括：

获取目标领域的所述句子语料库，并对所述句子语料库中的每一句子，通过分词技术进行分词以得到若干分词结果；

根据预设选取标准从所述若干分词结果中选取标准分词结果；

将所述标准分词结果中的词语转化为词向量；

根据所述预设算法计算所述句子语料库中的每一句子的标准句子向量；

搭建循环神经网络，并通过所述句子语料库的每一句子的词向量作为输入以及对应的所述句子的标准句子向量作为输出训练所述循环神经网络，以得到句子向量生成模型。

6.一种建立句子向量生成模型方法，其特征在于，包括：

获取目标领域的句子语料库，对句子语料库中的每一句子，通过分词技术进行分词以得到若干分词结果；

根据预设选取方式从所述若干分词结果中选取标准分词结果；

将所述标准分词结果中的词语转化为词向量；

根据预设算法计算所述句子语料库中的每一句子的标准句子向量；

搭建循环神经网络，并通过所述每一句子的词向量作为输入以及对应的所述标准句子向量作为输出训练所述循环神经网络，以得到句子向量生成模型。

7.如权利要求6所述的一种建立句子向量生成模型方法，其特征在于，所述将所述标准分词结果中的词语转化为词向量包括：

获取词向量模型，并通过词向量模型将所述标准分词结果中的词语转化为词向量；

所述获取词向量模型的过程包括：

获取所述目标领域的文本语料库；

对所述文本语料库进行预处理，其中，所述预处理包括分词处理和去停用词处理；

通过word2vec算法对预处理后的所述文本语料库的数据进行训练，以得到所述词向量模型。