[发明专利]一种文本去重方法及系统

说明书

本发明涉及一种文本去重方法及系统，该方法包括步骤：计算出整个文本的哈希值，并将哈希值转换为二进制数，以及将所述二进制数转换为n维向量，n为大于1的整数；将该n维向量与已有的m×n的矩阵进行矩阵异或计算，并将每行的异或结果求和得到m×1的矩阵，m的矩阵中的一个元素即为一个海明距离；若m不等于0，则判断m个海明距离中最小的海明距离值是否小于设定的阈值，若小于则判断为重复文本，否则判断为非重复文本，并将该n维向量添加到矩阵中得到(m+1)×n维矩阵。本发明方法及系统通过将哈希值转换为矩阵的形式存储于数据库，只需要计算一次海明距离即可判别出是否为重复文本，大大提高了去重效率。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种文本去重方法及系统。

背景技术

随着社会的发展和科技的进步，互联网中每时每刻都在产生海量的公开自然语言信息，而这些信息发布在网页中，并且存在着大量的重复信息，这些重复信息并不是完全一模一样，可能会有少量的信息差异，但是在去重过程中认为这些信息极度相似，属于重复信息。重复信息可能来自于文本、博客、公告的转载，可能是同一信息在不同平台的发布，甚至可能是信息的抄袭等。

针对海量网页信息如何去重，谷歌公司发明了一种simhash算法，一个网页可以计算得到一条simhash值。在系统实际使用中，用一个数据库存放simhash值，当一条文本信息计算出simhash值后，与数据库中存放的每一条simhash值进行比较，如果找到某条simhash值与该simhash值之间的海明距离小于设定的阈值，则认为该文本信息属于重复信息，如果找不到任何一条simhash值与该simhash值之间的海明距离小于设定的阈值，则认为该文本信息属于新信息，这样就达到了对海量文本信息去重的目的。谷歌的simhash算法在通用文本去重中取得了非常不错的效果，但是也存在缺陷，就是在去重判断时需要与数据库中的每一条simhash值进行比较，运算量大，效率低，且对硬件设备的要求也比较高。

发明内容

本发明的目的在于提供一种文本去重方法及系统，以提高去重判断的速度，提高效率。

为了实现本发明目的，本发明实施例提供了以下技术方案：

一种文本去重方法，包括以下步骤：

计算出整个文本的哈希值，并将哈希值转换为二进制数，以及将所述二进制数转换为n维向量，n为大于1的整数；

将该n维向量与已有的m×n的矩阵进行矩阵异或计算，并将每行的异或结果求和得到m×1的矩阵，矩阵中的一个元素即为一个海明距离；m为大于等于0的整数；

若m等于0，则判断为非重复文本，并直接将该n维向量添加到矩阵中得到1×n维矩阵；若m不等于0，则判断m个海明距离中最小的海明距离值是否小于设定的阈值，若小于则判断为重复文本，否则判断为非重复文本，并将该n维向量添加到矩阵中得到(m+1)×n维矩阵。

上述方案中，通过将计算出的文本的哈希值转换为矩阵的形式存储，计算海明距离时只需要计算一次即可判别出是否为重复文本，无需像传统方法那样循环执行m次运算，因此大大降低了运算量，提高了去重效率。

作为一种实施方式，所述计算出整个文本的哈希值，并将哈希值转换为二进制数，以及将所述二进制数转换为n维向量的步骤，包括：

提取文本的特征词，并计算出每一个特征词的哈希值；

将计算得到的十进制哈希值转换为二进制数，并根据二进制0转换为-1、二进制1不变的原则，将每一个特征词对应的二进制数转换得到由-1和1组成的一个序列串；

将文本所有特征词的序列串的对应位进行累加，得到该文本的一个序列串，并按照大于0转换为1、小于等于0转换为0的原则，将序列串中的各位数值转换为由0和1组成的序列串，并将该序列串转换为n维向量。