[发明专利]一种网页重复内容过滤方法

权利要求书

1.一种网页重复内容过滤方法，其特征在于，包括文件服务器、网页内容提取服务器、网页过滤服务器、爬虫服务器，该方法包括以下步骤：

a.爬虫服务器把从网页抓取下来的数据发送到网页内容提取服务器；

b.网页内容提取服务器分析来自爬虫服务器的数据，把内容提取出来，并且使用哈希算法对所提取的内容进行哈希获得哈希码，然后把哈希码和内容、抓取的时间等信息一起存入放到文件服务器；

c.网页过滤服务器分析内容服务器里面的信息，对每个由步骤b中获得的哈希码出现冲突的网站中出现冲突的数量，对冲突的数量和该网站的网页数量设定一个阀值，如果一个网站的冲突的数量和该网站的网页数量高于该阀值，则直接通知爬虫服务器，禁止该网站，并过滤掉该网页的所有内容，如果低于该阀值而且抓取的时间较早，则提高该网页的重要性，否则降低该网页的重要性或过滤掉。

2.根据权利要求1所述的一种网页重复内容过滤方法，其特征在于，所述的文件服务器可以采用NDFS(Distributed Nutch File System，分布式Nutch文件系统)或Google File System(Google文件系统)，也可以采用其它普通的文件系统。

3.根据权利要求1所述的一种网页重复内容过滤方法，其特征在于，所述的爬虫服务器采用开源爬虫程序larbin。

4.根据权利要求1所述的一种网页重复内容过滤方法，其特征在于，所述的哈希算法可以采用MD4或SHAl哈希算法，也可以采用私有的哈希算法。

5.根据权利要求4所述的一种网页重复内容过滤方法，其特征在于，所述的私有的哈希算法可以采用在文章中采样部分文字进行内码相加。

6.根据权利要求1所述的一种网页重复内容过滤方法，其特征在于，该方法通过用转载文章数量除以网站网页数量的方法计算出每个出现哈希值有冲突网站的转载率，并与阀值相比较，把高于阀值的网站列入黑名单，通知larbin禁止对该网站的抓取，删除文件服务器上有关该网站的数据；否则对剩下的网站按抓取时间进行排序，抓取时间早的则提高这个网站拥有该哈希值的网页的得分，对抓取时间晚的则降低得分。