[发明专利]一种网页重复内容过滤方法

摘要

本发明涉及一种网页重复内容过滤方法，包括文件服务器、网页内容提取服务器、网页过滤服务器、爬虫服务器。与现有技术相比，本发明有效的遏制利用拷贝别人的作品来谋求利益的行为，而且减少了大量重复的信息，使搜索结果更精简，提高了用户的搜索效率，同时也保护了原作者的版权不受肆意侵犯。

主权项

1.一种网页重复内容过滤方法，其特征在于，包括文件服务器、网页内容提取服务器、网页过滤服务器、爬虫服务器，该方法包括以下步骤：a.爬虫服务器把从网页抓取下来的数据发送到网页内容提取服务器；b.网页内容提取服务器分析来自爬虫服务器的数据，把内容提取出来，并且使用哈希算法对所提取的内容进行哈希获得哈希码，然后把哈希码和内容、抓取的时间等信息一起存入放到文件服务器；c.网页过滤服务器分析内容服务器里面的信息，对每个由步骤b中获得的哈希码出现冲突的网站中出现冲突的数量，对冲突的数量和该网站的网页数量设定一个阀值，如果一个网站的冲突的数量和该网站的网页数量高于该阀值，则直接通知爬虫服务器，禁止该网站，并过滤掉该网页的所有内容，如果低于该阀值而且抓取的时间较早，则提高该网页的重要性，否则降低该网页的重要性或过滤掉。