[发明专利]分布式爬虫实现方法和装置在审
| 申请号： | 202011573515.2 | 申请日： | 2020-12-25 |
| 公开（公告）号： | CN112597372A | 公开（公告）日： | 2021-04-02 |
| 发明（设计）人： | 任亮;傅雨梅;徐林;文齐辉 | 申请（专利权）人： | 北京知因智慧科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F11/20 |
| 代理公司： | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人： | 张萌 |
| 地址： | 100000 北京市西城区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种分布式爬虫实现方法和装置，涉及爬虫应用技术领域，包括创建爬虫任务，并根据爬虫任务中的采集任务和解析任务分别确定对应分布的部署节点，其中，爬虫任务包括至少一个；启动爬虫任务，基于预先确定的警告规则和质量检测规则分别对采集任务和解析任务进行监控；若监控状态异常，则发出警告，并重新对爬虫任务进行分布部署；若监控状态正常，则持续运行爬虫任务，并将爬取数据写入数据库，通过分布式节点部署，在提高多个爬取任务速度的同时，还对爬取任务的状态进行监控，同时保证数量和质量。 | ||
| 搜索关键词： | 分布式 爬虫 实现 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京知因智慧科技有限公司，未经北京知因智慧科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011573515.2/，转载请声明来源钻瓜专利网。
