[发明专利]一种网页重复内容过滤方法

说明书

技术领域

本发明涉及网页内容，特别是涉及一种网页重复内容过滤方法。

背景技术

在互联网上，很多人网站都转载别人的文章，这种势头在博客出来之后越来越加剧。大量的重复信息加大了信息采集的工作量，也占用了很多存储空间。在对这些信息的检索中，用户在搜索同一个关键字的时候往往会出现大量同样的结果，用户需要翻多个页面之后才能找到所要的信息，这个使用户感到不方便。同时这个也是对原作者的版权的不尊重，面对这种情况，现有的搜索引擎还没有出现好的解决方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种网页重复内容过滤方法。

本发明的目的可以通过以下技术方案来实现：一种网页重复内容过滤方法，其特征在于，包括文件服务器、网页内容提取服务器、网页过滤服务器、爬虫服务器，该方法包括以下步骤：

a.爬虫服务器把从网页抓取下来的数据发送到网页内容提取服务器；

b.网页内容提取服务器分析来自爬虫服务器的数据，把内容提取出来，并且使用哈希算法对所提取的内容进行哈希获得哈希码，然后把哈希码和内容、抓取的时间等信息一起存入放到文件服务器；

c.网页过滤服务器分析内容服务器里面的信息，对每个由步骤b中获得的哈希码出现冲突的网站中出现冲突的数量，对冲突的数量和该网站的网页数量设定一个阀值，如果一个网站的冲突的数量和该网站的网页数量高于该阀值，则直接通知爬虫服务器，禁止该网站，并过滤掉该网页的所有内容，如果低于该阀值而且抓取的时间较早，则提高该网页的重要性，否则降低该网页的重要性或过滤掉。

所述的文件服务器可以采用NDFS(Distributed Nutch File System，分布式Nutch文件系统)或Google File System(Google文件系统)，也可以采用其它普通的文件系统。

所述的爬虫服务器采用开源爬虫程序larbin。

所述的哈希算法可以采用MD4或SHA1哈希算法，也可以采用私有的哈希算法。

所述的私有的哈希算法可以采用在文章中采样部分文字进行内码相加。

该方法通过用转载文章数量除以网站网页数量的方法计算出每个出现哈希值有冲突网站的转载率，并与阀值相比较，把高于阀值的网站列入黑名单，通知larbin禁止对该网站的抓取，删除文件服务器上有关该网站的数据；否则对剩下的网站按抓取时间进行排序，抓取时间早的则提高这个网站拥有该哈希值的网页的得分，对抓取时间晚的则降低得分。

与现有技术相比，本发明有效的遏制利用拷贝别人的作品来谋求利益的行为，而且减少了大量重复的信息，使搜索结果更精简，提高了用户的搜索效率，同时也保护了原作者的版权不受肆意侵犯。

附图说明

图1为本发明的原理框图；

图2为本发明的网页内容过滤的原理框图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1、图2所示，本实施例由文件服务器、网页内容提取服务器、网页过滤器服务器以及爬虫服务器组成。这些服务器是指服务器程序而不是指硬件。

文件服务器可以是NDFS(Distributed Nutch File System，分布式Nutch文件系统)或google公司的Google File System(Google文件系统)，也可以是其它普通的文件系统。用来存放提取的内容等等。

内容提取服务器用于分析网页布局，提取网页内容。

网页过滤服务器比较网页内容是否存重复，统计某个网站重复网页的数量，对每个网站的原创性进行评价，降低转载的信息特别突出的网站的网页的重要性指数，过滤一些重复的信息，严重者禁止爬虫服务器到该网站抓取信息。

爬虫服务器主要是用来抓取信息，比如下载网页等。

本方案的硬件系统可以是在一个网络内的多个计算机组成，也可以是一台计算机。所用的计算机可以是联想，IBM，戴尔，神舟等品牌的计算机。

本实施例内容如下：

1)爬虫服务器把网页抓取下来后把下载下来的数据发送到内容提取服务器。

2)内容服务器分析提取出来的数据，把内容提取出来，这里指的内容是指去除网页所要表现的主题信息。并且使用哈希算法对所提取的内容进行哈希获得哈希码，然后把哈希码和内容、抓取的时间等信息一起存入放到文件服务器。这里的哈希算法可以是MD4，SHA1等著名的哈希算法，也可以是私有的哈希算法如把每个文章的每个字节的值加起来等等。