[发明专利]判断两个文本语义相似度的方法、装置、存储介质及设备

权利要求书

1.一种判断两个文本语义相似度的方法，其特征在于，用于判断以下两个文本的语义相似度：第一文本和第二文本；包括：

分别对所述第一文本和所述第二文本进行分词得到第一分词结果和第二分词结果；

分别过滤掉所述第一分词结果和第二分词结果中的无意义词；

利用文本编辑距离算法获得过滤后的第一分词结果和第二分词结果之间的差异词集合；

当所述第一文本和所述第二文本的差异词集合均为非空集合时，通过搜索引擎搜索所述第一文本对应的第一非空集合中的所有词和所述第二文本对应的第二非空集合中的所有词；

通过word2vec分别获得所述第一非空集合中所有词的向量相加得到的第一向量和所述第二非空集合中所有的词的向量相加得到的第二向量；

利用余弦相似度获得所述第一向量和所述第二向量的相似度；

如果所述相似度小于等于预设相似度阈值，通过所述搜索引擎搜索包括所述第一非空集合中的所有词的第一网页集合，通过所述搜索引擎搜索包括所述第二非空集合中的所有词的第二网页集合；

获得所述第一网页集合中包括所述第二非空集合中至少一个词的第一网页数目，获得所述第二网页集合中包括所述第一非空集合中至少一个词的第二网页数目；

获得所述第一网页数目与所述第一网页集合中网页总数目的第一比值，获得所述第二网页数目与所述第二网页集合中网页总数目的第二比值；

获得包括所述第一非空集合中的词和所述第二非空集合中词两两组合的网页总数目；利用所述第一非空集合中的词和所述第二非空集合中词两两组合的种类和所述两两组合的网页总数目获得两两组合对应的平均值；

利用所述第一比值与所述第二比值的和以及所述平均值来修正所述相似度；

当修正后的相似度大于所述预设相似度阈值，则确定所述第一文本和所述第二文本语义相似，反之确定则确定所述第一文本和所述第二文本语义不相似。

2.根据权利要求1所述的方法，其特征在于，所述分别过滤掉所述第一分词结果和第二分词结果中的无意义词，具体包括：

分别对所述第一分词结果和所述第二分词结果进行词性标注，根据词性标注结果过滤掉所述第一分词结果和所述第二分词结果中的无意义词。

3.根据权利要求1所述的方法，其特征在于，所述分别过滤掉所述第一分词结果和第二分词结果中的无意义词，具体包括：

对于所述第一分词结果和所述第二分词结果中非地名的词语，利用词频-逆文本频率指数tf-idf算法获得idf值小于第一预设阈值的词作为无意义词；

将所述无意义词过滤掉。

4.根据权利要求1所述的方法，其特征在于，在所述利用文本编辑距离算法获得过滤后的第一分词结果和第二分词结果之间的差异词集合，之前还包括：

对于动词存在相邻的名词时，将所述动词以及与其相邻的名词进行合并作为一个复合名词。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：如果所述相似度大于预设相似度阈值，则确定所述第一文本和所述第二文本语义相似。