[发明专利]一种文本相似度计算方法及装置

说明书

本发明公开了一种文本相似度计算方法，包括：对第一文本和第二文本进行预处理，得到第一目标词集和第二目标词集，其中，第一目标词集包含第一数量的词，第二目标词集包含第二预设数量的词；将第一目标词集和第二目标词集传递给采用预设的训练方法构建的目标word2vec模型分别转化为第一目标词向量和第二目标词向量；计算第一目标词向量和第二目标词向量的余弦相似度；当余弦相似度大于预设相似度阈值时，判定第一文本和第二文本相似。上述方法，采用word2vec模型确定第一目标词向量和第二目标词向量，由于word2vec模型加入了语义相似度计算的内容，不再将字符或者是词语作为独立的知识单元，提高了相似度计算的准确率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种文本相似度计算方法及装置。

背景技术

在信息爆炸时代，人们迫切希望从海量信息中获取与自身需要和兴趣吻合度高的内容。为了满足此需求，出现了多种应用,如搜索引擎、自动问答系统、文档分类与聚类、文献查重、文献精准推送等,而这些应用场景的关键技术之一就是文本相似度计算技术。

现在常用的相似度计算方法都属于字符串匹配算法，以字符串共现和重复程度为相似性的衡量方法，典型的有SimHash算法。SimHash算法的原理是将一个文档转换成64位的字节，然后我们可以通过判断两个字节的汉明距离就知道是否相似。

当前基于字符串的方法是在字面层次上的文本比较，但不足的是将字符或词语作为独立的知识单元，并未考虑词语本身的含义和词语之间的关系。以同义词为例，尽管表达不同，但具有相同的含义，而这类词语的相似度依靠基于字符串的方法并不能准确计算。

发明内容

有鉴于此，本发明提供了一种文本相似度计算方法及装置，用以解决在相似度计算过程中当前基于字符串的方法是在字面层次上的文本比较，但不足的是将字符或词语作为独立的知识单元，并未考虑词语本身的含义和词语之间的关系。以同义词为例，尽管表达不同，但具有相同的含义，而这类词语的相似度依靠基于字符串的方法并不能准确计算的问题。具体方案如下：

一种文本相似度计算方法，其特征在于，包括：

对第一文本和第二文本进行预处理，得到第一目标词集和第二目标词集，其中，所述第一目标词集包含第一数量的词，所述第二目标词集包含第二预设数量的词；

将所述第一目标词集和所述第二目标词集传递给采用预设的训练方法构建的目标word2vec模型分别转化为第一目标词向量和第二目标词向量；

计算所述第一目标词向量和所述第二目标词向量的余弦相似度；

当所述余弦相似度大于预设相似度阈值时，判定所述第一文本和所述第二文本相似。

上述的方法，可选的，对第一文本和第二文本进行预处理，包括：

分别对所述第一文本和所述第二文本进行分词处理，得到第一词集和第二词集；

分别将所述第一词集和所述第二词集中的词与预设的停用词库进行比较；

当所述第一词集和/或所述第二词集中出现与所述预设的停用词库中任意停用词相同的目标停用词时，将所述目标停用词进行删除处理。

上述的方法，可选的，分别对所述第一文本和所述第二文本进行分词处理，得到第一词集和第二词集，包括；

确定所述第一文本和所述第二文本所属行业；

依据所述行业，确定所述行业的目标专业词汇库；

依据所述目标专业词汇库，分别对所述第一文本和所述第二文本进行jieba分词，得到第一词集和第二词集。