[发明专利]文本消重系统和方法

说明书

技术领域

本发明涉及搜索引擎中的文本消重，特别涉及文本消重系统和方法。

背景技术

文本消重是搜索引擎中基本需求之一。目前常用的消重方法有基于中心词的消重方法,和针对全部文本或部分文本进行哈希计算消重等。

目前常用的手段是基于中心词的消重方法。提取文本中的中心词，然后利用中心词进行消重，这样文本中即使进行了一定内容的修改，只要中心词没有改变，就可以发现是重复内容。

但是基于中心词的消重方法缺点是明显的，很容易把原本无关的文章判定为重复：比如在一些专业类的文章中，中心词消重往往错误率比较高。如体育比赛中相同球队的新闻，由于球队名称，教练队员的名称，所属俱乐部，所属城市，打法等内容相对固定，不管球队是一年甚至几年内的不同比赛内容，提取出的中心词往往都比较相似。利用中心词消重就很有可能把毫不相干的两场比赛的文章判定为重复。

另外，上述方法容易把本来是相同的文章判定为不重复：比如不同网站在转载同一篇文章时，有的网站会把文章的内容放的一个页面里，而有的网站会把内容切分为几部分，每一部分使用一个单独的页面。这样，在抽取中心词时，由于两个网站的页面长度不同，抽取出的中心词也会不同，因此会把本来相同的文章判断为不重复的页面。

上述技术方案基于与语言相关：在提取中心词时首先需要进行分词，而分词是语言相关的。对中文的分词方法与英文不同。因此，对中文适用的中心词消重方法在外文上无法使用。

发明内容

本发明要解决的技术问题是现有技术的消重准确性低，容错性差的问题。

一种文本消重系统，所述系统包括：

分割模块，适于将目标文本和待比较文本依据分割符号分割成分割段，并将目标文本和待比较文本的分割段按相同的方式组成序列；

哈希值计算模块，适于在目标文本中选定目标序列，计算出目标序列的哈希值以及待比较文本中全部或部分序列的哈希值；

消重模块，适于将所述比较序列的哈希值依次与待比较文本中序列的哈希值相比较，如果存在相同的哈希值，则执行消重操作。

其中，所述分割符号包括ASCII码中的符号和/或中文全角/半角标点符号。

其中，所述分割符号为一个或一个以上。

其中，所述消重模块进一步包括：

文本标记单元，适于对重复的文本标记重复记号；和/或

文本删除单元，适于对重复的文本进行删除操作。

其中，所述序列由一个分割段或两个以上连续的分割段组成。

其中，所述待比较文本如果只计算部分序列的哈希值，则目标序列在目标文本中的选定位置与待比较文本中部分序列的位置相对应。

其中，所述分割模块进一步包括分割段阈值设定模块，适于依据统计数据获得组成序列的分割段数量。

其中，所述消重模块进一步包括一多目标序列比较单元，适于当所述目标序列的个数大于1时，依次将每个目标序列的哈希值与待比较文本中的序列相比较。

一种文本消重访法，所述方法包括：

将目标文本和待比较文本依据分割符号分割成分割段，并将目标文本和待比较文本的分割段按相同的方式组成序列；

在目标文本中选定目标序列，计算出目标序列的哈希值以及待比较文本中全部或部分序列的哈希值；

将所述比较序列的哈希值依次与待比较文本中序列的哈希值相比较，如果存在相同的哈希值，则执行消重操作。

其中，所述分割符号包括ASCII码中的符号和/或中文全角/半角标点符号。

其中，所述分割符号为一个或一个以上。

其中，所述执行消重操作进一步包括：

对重复的文本标记重复记号；和/或

对重复的文本进行删除操作。

其中，所述序列由一个分割段或两个以上连续的分割段组成。

其中，所述待比较文本如果只计算部分序列的哈希值，则目标序列在目标文本中的选定位置与待比较文本中部分序列的位置相对应。

其中，所述组成序列的分割段数量依据统计数据获得。

其中，所述将所述比较序列的哈希值依次与待比较文本中序列的哈希值相比较进一步包括，当所述目标序列的个数大于1时，依次将每个目标序列的哈希值与待比较文本中的序列相比较。