[发明专利]文本比较方法以及文本比较装置

说明书

本发明提供一种文本比较方法以及文本比较装置，有助于解决现有技术的文本比较效率低、准确度不高的技术问题。本发明的文本比较方法，包括：计算第一文本与第二文本之间的汉明距离；若汉明距离小于预设汉明距离阈值，则使用余弦算法计算第一文本和第二文本之间的余弦值；根据余弦值和汉明距离按照预设规则判断第一文本与第二文本的相似程度等级，然后根据相似程度等级发出对应的提示信息。

技术领域

本发明涉及一种计算机及其软件的技术领域，具体涉及一种文本比较方法以及文本比较装置。

背景技术

在互联网技术和大数据技术中，文本相同相似比较会经常使用到。比如在搜索引擎的搜索结果页展示，为了去重，会用到文本相同相似比较；在网上商城的商品展示页面，为了判断商品之间是否为相同或相似商品，可以通过商品描述文本的相同相似比较来判断；在数据挖掘和数据分析中，也经常需要用到文本相同相似比较，来判断两个或多个不同文本间的相似度，来达到相应的应用目的。现有的文本相似度查询算法中，比较著名的有余弦计算方法以及谷歌提出的simhash算法等。

余弦计算方法中，先将两个比较文本转化成两个向量，利用向量空间中两个向量夹角的余弦值作为衡量两个个体差异的大小。余弦值越接近于1，就表明夹角越接近于0，也就是两个向量越相似。文本相似度计算是基于以上原理，主要步骤为：分词、计算词频、生成两个文本的词频向量、计算两个词频向量的余弦值。余弦算法计算相似度的准确性较高，但是由于涉及到大量的数学计算，一次比较大约需要消耗几毫秒，所以当需要比较的文本的数量特别巨大，比如互联网上的海量文本比较时，计算性能就会比较差，因此不能用作高并发、海量的文本比较。

simhash算法的主要思想是降维，将高维的特征向量映射成低维的特征向量，通过两个向量的汉明距离Hamming Distance来确定文章是否重复或者高度近似。在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。也就是说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。例如：1011101与1001001之间的汉明距离是2。Simhash算法主要分为六个步骤：分词、hash、加权、合并、降维以及计算汉明距离。simhash文本相似度比较算法由于大部分是位运算，而且把文本的hash值计算出来后可以保存下来，后期文本比较时，只用对hash值计算汉明距离即可，平均一次比较只需消耗几纳秒或十几纳秒，因此性能较高，适用于大量文本之间进行相似度比较的场景。但是由于simhash算法基于文本的分词来计算simhash值，并且要对不同关键词设定不同的权重，因此词库是否完整及加权值设置是否合理，对相似度的计算结果影响较大。当词库不是特别完整或者加权设置不是特别合理时，相似度的计算结果不是特别准确。而且该算法得到的结果范围较大(汉明距离理论上可能为1到无穷大)，如果精确度要求较高的话，不是很好界定文本相同或者文本相似的程度。

发明内容

有鉴于此，本发明提供一种文本比较方法以及文本比较装置，有助于解决现有技术的文本比较效率低、准确度不高的技术问题。

为实现上述目的，根据本发明的一个方面，提供了一种文本比较方法，包括：计算第一文本与第二文本之间的汉明距离；若所述汉明距离小于预设汉明距离阈值，则使用余弦算法计算所述第一文本和所述第二文本之间的余弦值；根据所述余弦值和所述汉明距离按照预设规则判断所述第一文本与所述第二文本的相似程度等级，然后根据所述相似程度等级发出对应的提示信息。

可选地，所述计算第一文本与第二文本之间的汉明距离的步骤包括：根据simhash算法分别计算所述第一文本对应的第一simhash值以及所述第二文本对应的第二simhash值；根据所述第一simhash值和所述第二simhash值计算所述汉明距离。

可选地，在所述计算第一文本与第二文本之间的汉明距离的步骤之后，还包括：若所述汉明距离大于所述预设汉明距离阈值，则发出用于提示第一文本和第二文本为无关文本的第一提示信息。