[发明专利]一种基于微服务的自动爬虫管理方法

说明书

本发明公开了一种基于微服务的自动爬虫管理方法，该方法包括以下步骤：服务端基于springboot微服务架构和多线程技术，运行程序对爬虫管理平台进行任务接口抽象化，按照爬取同类网站重复步骤对任务接口定义规则；建立爬虫任务流水线，对任务接口进行管理，实现客户端网站数据自动化爬取操作；客户端运用java或python任意一种编程语言，建立与服务端通信的爬虫任务接口，客户端通过token令牌进行注册，注册后客户端与服务端做心跳机制沟通，领取爬虫任务，并推送爬虫结果数据。本发明的有益效果：本申请服务端基于运用微服务架构和多线程技术，通过爬虫管理平台实现客户端网站数据抓取，能够对爬虫客户端和任务管理服务端快速扩容，提高爬虫效率和节约人力成本。

技术领域

本发明涉及网络爬虫技术领域，具体来说，涉及一种基于微服务的自动爬虫管理方法。

背景技术

随着互联网行业的快速发展，互联网上的数据已经成为大数据分析的主要数据来源，各种形式的爬虫工具也随之出现，例如：八抓鱼,后羿采集器，分布式爬虫等，相似的专利有【公开号】CN107800789A，上述方案是通过分布式设备接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器，分布式设备将设备参数通过广播消息广播至分布式爬虫系统中的其他设备，接收其他设备发送的广播消息，从广播消息中提取设备参数最优的第一分布式设备，分布式设备接收其他设备发送的投票消息，该投票消息包括：票数以及投票的分布式设备，将票数最多的分布式设备确定为任务管理器，如分布式设备为任务管理器，将本地处理的爬虫任务分配给其他分布式设备。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于微服务的自动爬虫管理方法，运用微服务架构和多线程技术，通过爬虫管理平台实现客户端网站数据抓取，能够对爬虫客户端和任务管理服务端快速扩容，大大提高爬虫效率和节约人力成本。

为实现上述技术目的，本发明的技术方案是这样实现的：一种基于微服务的自动爬虫管理方法，该方法包括以下步骤：

S1 服务端基于springboot微服务架构和多线程技术，运行程序对爬虫管理平台进行任务接口化抽象，按照爬取同类网站重复步骤对任务接口定义规则，其中，服务端包含：爬虫管理平台、网站注册、客户端注册、任务线程管理、系统状态监控、任务接口、浏览器驱动、客户端登录；

S2 建立爬虫任务流水线，对任务接口进行管理，实现客户端网站数据自动化爬取操作，所述任务流水线包含：任务触发、任务分解、任务分配、任务执行监控、任务结果接收、任务清洗、清洗结果推送及任务完结监控；

S3客户端运用java或python任意一种编程语言，建立与服务端通信的爬虫任务接口，客户端通过token令牌进行注册，注册后客户端与服务端做心跳机制沟通，领取爬虫任务，并推送爬虫结果数据。

根据本发明的另一方面， 所述S1中服务端进一步包含：

所述S1中服务端进一步包含：

S1.1爬虫管理平台注册客户端抓取网站任务接口信息，以及爬取客户端的任务接口信息，规范任务接口的入参格式及出参格式；

S1.2 基于规范的任务接口参数格式对目标网站注册，记录每个网站具体任务接口，通过任务接口定时任务分解；

S1.3 获取token令牌进行任务接口客户端注册，记录任务接口实现情况，接收服务端分配的任务；

S1.4任务线程管理，基于异步线程，监控运行状态，查看每个线程处理数据情况，其中，任务线程管理包含定时任务线程、任务解析线程、子任务平衡分配线程、爬虫结果处理线程及爬虫任务监控线程；

S1.5 系统状态监控，根据监控任务流水线执行状态，监控已注册客户端运行状态，并人工驱离客户端，进入黑名单；

S1.6 任务接口根据对接手册，对客户端进行对接测试，以及客户端性能评估，任务接口包含：心跳接口、获取任务包接口、推送爬虫结果接口；