[发明专利]一种基于内存数据库的分布式爬虫框架及实现方法在审
| 申请号： | 201711250004.5 | 申请日： | 2017-12-01 |
| 公开（公告）号： | CN107943991A | 公开（公告）日： | 2018-04-20 |
| 发明（设计）人： | 尹学渊;罗剑锋;何林 | 申请（专利权）人： | 成都嗨翻屋文化传播有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06F9/48 |
| 代理公司： | 成都睿道专利代理事务所(普通合伙)51217 | 代理人： | 潘育敏 |
| 地址： | 610000 四川省成都市天*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于内存数据库的分布式爬虫框架及实现方法，所述的分布式爬虫框架包括以下模块生产者爬虫、消费者爬虫、过滤器以及内存数据库、消息队列、存储介质，每个模块均可以单独运行、解耦合，互不干扰，而且各个模块均易于扩展。本分布式爬虫的实现方法具有以下优点内存使用可控，不会随着URL不断增加而改变；调度快，在URL不断增加的情况下，不会降低任务调度速率；爬虫高效，分布式多节点爬取，扩展简单、自由度高；数据存储高效、安全。 | ||
| 搜索关键词： | 一种 基于 内存 数据库 分布式 爬虫 框架 实现 方法 | ||
【主权项】：
一种基于内存数据库的分布式爬虫框架及实现方法，其特征是：所述的分布式爬虫框架包括以下模块：生产者爬虫、消费者爬虫、过滤器以及内存数据库、消息队列、存储介质；所述的分布式爬虫实现方法包括以下步骤：a、根据项目所需要的数据信息，生产者爬虫不断地从网络中提取相应的url地址；b、过滤器将生产者爬虫提取的url进行去重处理；c、内存数据库存储去重处理后的种子url队列，同时存储过滤器的位数组，并且向消费者爬虫调度分配url任务；d、消费者爬虫循环地向内存数据库请求url任务，根据url地址进行实际的数据抓取，抓取数据后将数据保存至存储介质，并且在数据抓取过程中提取出待爬取的url，将爬取的url交给过滤器处理；e、存储介质持久化保存实际数据、存储消费者爬虫抓取的原始数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都嗨翻屋文化传播有限公司，未经成都嗨翻屋文化传播有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711250004.5/，转载请声明来源钻瓜专利网。
