[发明专利]分布式爬虫系统及其提取网页数据的方法无效
| 申请号： | 201010224671.8 | 申请日： | 2010-07-07 |
| 公开（公告）号： | CN102314463A | 公开（公告）日： | 2012-01-11 |
| 发明（设计）人： | 贾海禄 | 申请（专利权）人： | 北京瑞信在线系统技术有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;H04L29/08 |
| 代理公司： | 隆天国际知识产权代理有限公司 72003 | 代理人： | 张浴月;刘文意 |
| 地址： | 100007 北京市东城区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分布式爬虫系统及其提取网页数据的方法，该系统包括爬虫服务器，用于发布未处理URL队列，并对所述分布式爬虫系统进行逻辑控制；消息队列服务器，用于从所述爬虫服务器接收URL队列，并将所述URL队列向所述下载端发送；至少一个下载端，用于根据从所述消息队列服务器中接收的URL队列下载网页，并将下载的网页数据发送至所述爬虫服务器；URL过滤器，用于对所述爬虫服务器收到的网页数据进行排重。本发明的爬虫服务器不需要知道下载端的实现，爬虫服务器将任务发给消息队列服务器，并等待任务结果的返回即可，逻辑控制和下载任务的分离，让分布式爬虫系统的启动、管理、容错都变的简单许多。 | ||
| 搜索关键词： | 分布式 爬虫 系统 及其 提取 网页 数据 方法 | ||
【主权项】：
一种分布式爬虫系统，其特征在于，包括爬虫服务器、消息队列服务器、至少一个下载端和统一资源定位符URL过滤器，其中，所述爬虫服务器，用于发布未处理URL队列，并对所述分布式爬虫系统进行逻辑控制；所述消息队列服务器，用于从所述爬虫服务器接收URL队列，并将所述URL队列向所述下载端发送；所述下载端，用于根据从所述消息队列服务器中接收的URL队列下载网页，并将下载的网页数据发送至所述爬虫服务器；以及所述URL过滤器，用于对所述爬虫服务器收到的网页数据进行排重。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京瑞信在线系统技术有限公司，未经北京瑞信在线系统技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201010224671.8/，转载请声明来源钻瓜专利网。
