[发明专利]分词方法及装置、建立句子向量生成模型方法及装置

说明书

本发明公开了一种分词方法，包括：通过分词技术对待分词句子进行初步分词处理，以得到若干初步分词结果；将若干初步分词结果中的词语转化为词向量；将每一初步分词结果的词向量输入句子向量生成模型，以得到每一初步分词结果的第一句子向量；根据预设算法计算待分词句子的标准句子向量；将与标准句子向量的相似度最高的第一句子向量所对应的初步分词结果确定为待分词句子的最终分词结果；其中，句子向量生成模型为通过句子语料库中的每一句子的标准分词结果的词向量作为输入以及对应的句子的标准句子向量作为输出训练循环神经网络所生成的。本发明得到的分词结果能够有效表达语义，提高了分词的效率与准确率。

技术领域

本发明涉及人工智能领域，尤其涉及一种分词方法及装置、建立句子向量生成模型方法及装置。

背景技术

在自然语言处理中，文本分词是其他语义分析处理的前提和基础。对英文文本，词自然地以空格为划分标志，而对中文文本，词的划分并没有固定的标志或规则，因为中文词语的构成往往包含了人的主观意志与应用语境。也因此，对同一个中文文本，可以有多种不同的分词结果，其中有一个分词结果，它的语义通常更为接近句子的“真实”语义。而现今常见的分词系统有中科院的NLPIR汉语分词系统以及结巴分词系统等，本发明人在实施过程中发现，现有技术中存在以下技术问题：现有技术通常都是通用型的分词工具，对特定领域的中文文本，其默认的分词结果，往往效果欠佳，难以较好地表达真实的语义。

发明内容

本发明实施例提供一种分词方法及装置、建立句子向量生成模型方法及装置，能有效解决现有技术中分词结果无法表达真实语义的问题，得到的分词结果能够有效表达语义，提高了分词的效率与准确率。

本发明实施例提供一种分词方法，包括：

通过分词技术对待分词句子进行初步分词处理，以得到若干初步分词结果；

将所述若干初步分词结果中的词语转化为词向量；

将每一所述初步分词结果的所述词向量输入句子向量生成模型，以得到每一所述初步分词结果的第一句子向量；

根据预设算法计算所述待分词句子的标准句子向量；

将与所述标准句子向量的相似度最高的第一句子向量所对应的初步分词结果确定为所述待分词句子的最终分词结果；

其中，所述句子向量生成模型为通过句子语料库中的每一句子的标准分词结果的词向量作为输入以及对应的句子的标准句子向量作为输出训练循环神经网络所生成的。

本发明实施例所提供的一种分词方法，通过对待分词句子通过分词技术得到若干初步分词结果后，将每一初步分词结果的词语转化为词向量后输入到句子向量生成模型中，获取与每一初步分词结果对应的句子向量，另一方面，通过预设算法直接获取待分词句子的句子向量作为标准句子向量，然后将每一初步分词结果对应的句子向量与标准句子向量进行相似度比较，将相似度最高的初步分词结果做为最终分词结果。本实施例使用了循环神经网络来生成句子向量，生成的句子向量包含了词与词之间的语义依赖关系，基于分词结果与句子的语义相似度的，得到的分词结果能够有效表达语义，提高了分词结果优选的效率与准确率。

进一步的，所述将与所述标准句子向量的相似度最高的第一句子向量所对应的初步分词结果确定为所述待分词句子的最终分词结果包括：

计算每一所述第一句子向量与所述标准句子向量之间的距离；其中，所述距离为余弦距离或欧式距离；

比较每一所述第一句子向量与所述标准句子向量之间的距离的数值大小关系，确定所述距离的数值最小的所述第一句子向量所对应的初步分词结果为最终分词结果。

进一步的，所述根据预设算法计算所述待分词句子的标准句子向量包括：

根据sentence2vec算法计算所述待分词句子的标准句子向量。