[发明专利]一种基于微服务的自动爬虫管理方法

权利要求书

1.一种基于微服务的自动爬虫管理方法，其特征在于，该方法包括以下步骤：

S1服务端基于springboot微服务架构和多线程技术，运行程序对爬虫管理平台进行任务接口抽象化，按照爬取同类网站重复步骤对任务接口定义规则，其中，服务端包含：爬虫管理平台、网站注册、客户端注册、任务线程管理、系统状态监控、任务接口、浏览器驱动、客户端登录；

S2建立爬虫任务流水线，对任务接口进行管理，实现客户端网站数据自动化爬取操作，所述任务流水线包含：任务触发、任务分解、任务分配、任务执行监控、任务结果接收、任务清洗、清洗结果推送及任务完结监控；

S3客户端运用java或python任意一种编程语言，建立与服务端通信的爬虫任务接口，客户端通过token令牌进行注册，注册后客户端与服务端做心跳机制沟通，领取爬虫任务，并推送爬虫结果数据。

2.根据权利要求1所述的基于微服务的自动爬虫管理方法，其特征在于，所述S1中服务端进一步包含：

S1.1爬虫管理平台注册客户端抓取网站任务接口信息，以及爬取客户端的任务接口信息，规范任务接口的入参格式及出参格式；

S1.2基于规范的任务接口参数格式对目标网站注册，记录每个网站具体任务接口，通过任务接口定时任务分解；

S1.3获取token令牌进行任务接口客户端注册，记录任务接口实现情况，接收服务端分配的任务；

S1.4任务线程管理，基于异步线程，监控运行状态，查看每个线程处理数据情况，其中，任务线程管理包含定时任务线程、任务解析线程、子任务平衡分配线程、爬虫结果处理线程及爬虫任务监控线程；

S1.5系统状态监控，根据监控任务流水线执行状态，监控已注册客户端运行状态，并人工驱离客户端，进入黑名单；

S1.6任务接口根据对接手册，对客户端进行对接测试，以及客户端性能评估，任务接口包含：心跳接口、获取任务包接口、推送爬虫结果接口；

S1.7浏览器驱动，运用不同版本webdriver驱动程序，根据客户端版本检测信息，自动下载，并保持webdriver驱动程序与浏览器官网同步；

S1.8客户端通过上述步骤完成安全认证后进行页面登录。

3.根据权利要求2所述的基于微服务的自动爬虫管理方法，其特征在于，所述S1中任务线程管理进一步包含：

S1.4.1初始化任务接口配置信息，抓取网站任务信息和爬虫客户端信息，客户端正常运行状态下，与服务端建立心跳机制；

S1.4.2定时任务线程，根据任务配置表，检查和触发爬虫任务，一类接口定义成一条任务流水线；

S1.4.3任务解析线程，按照任务接口入参规则提取数据，形成入参数据包，并做最小化切分，然后，提取任务接口网站列表，两者交叉形成子任务；

S1.4.4子任务平衡分配线程，将任务分配给在线的客户端，同时回收长时间未完成任务，分配给其他客户端；

S1.4.5爬虫结果处理线程，获取网站任务接口爬取结果，向清洗库推送任务，将子任务修改为完成状态；

S1.4.6爬虫任务监控线程，监控子任务爬取情况，若全部已完成，则对定时任务设置为完成状态，并进入下一次循环。

4.根据权利要求1所述的基于微服务的自动爬虫管理方法，其特征在于，所述S2中流水线进一步包含：

S2.1流水线通过数据做任务触发，其中，数据来源于外部数据接口的任务触发，根据数据评分核查任务触发或其他业务任务触发。