[发明专利]分布式网络信息采集系统、方法及计算机可读存储介质在审
申请号: | 201911313586.6 | 申请日: | 2019-12-18 |
公开(公告)号: | CN111147325A | 公开(公告)日: | 2020-05-12 |
发明(设计)人: | 胡双兴;程海龙;张宇;刘永强;沈智杰;周勇林;景晓军 | 申请(专利权)人: | 深圳市任子行科技开发有限公司;任子行网络技术股份有限公司 |
主分类号: | H04L12/26 | 分类号: | H04L12/26;G06F16/951;G06F16/958 |
代理公司: | 深圳市顺天达专利商标代理有限公司 44217 | 代理人: | 郭伟刚;车大莹 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种分布式网络信息采集系统,包括中央服务器、多个子采集结点和数据存储服务器,中央服务器用于选择采集目标、分配采集资源,通过请求将采集任务下发至指定的子采集结点;子采集结点用于根据采集任务采集完后数据后将采集的数据返回至中央服务器;数据存储服务器用于存储从子采集结点返回的数据。本发明由中央服务器负责采集目标管理、账号池资源管理、IP池资源管理、数据清洗、数据入库等业务,每个子采集结点负责具体页面请求采集工作,因此,通过对IP、账号、用户行为等方面进行限制,以实现对采集策略的更加灵活的处理,达到更加高效的采集数据的目的。 | ||
搜索关键词: | 分布式 网络 信息 采集 系统 方法 计算机 可读 存储 介质 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市任子行科技开发有限公司;任子行网络技术股份有限公司,未经深圳市任子行科技开发有限公司;任子行网络技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201911313586.6/,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置