[发明专利]一种易扩展可配置的网络数据收集方法、系统及存储介质

说明书

本发明提供了一种易扩展可配置的网络数据收集方法、系统及存储介质，该网络数据收集方法包括收集任务模板配置步骤、模板上传步骤、记录入库步骤、设置任务的定时规则和运行机制步骤、收集任务生成到总任务表步骤、总任务表的数据推送到数据库步骤、工作机器向主机请求任务步骤、判断步骤和保存步骤。本发明的有益效果是：1.针对任务多机器部署的复杂性，实现了一种可快捷高效的部署方式，减轻部署和维护的压力。2.针对任务代码过多的痛点，本发明通过将数据解析方式抽离为单独模块，只需对不同网站配置不同的数据解析文件，即可实现网站数据的收集存取。

技术领域

本发明涉及互联网技术领域，尤其涉及一种易扩展可配置的网络数据收集方法、系统及存储介质。

背景技术

1.为了实现网络上海量数据收集，常常需要将任务部署到多台机器，实现协同作业。但缺少一种易于实现快速可扩展的多机部署方式，部署的可扩展性和快捷性受到重大挑战。

2.由于网站类型多种多样，需要针对不同的网站数据形式，编写不同的任务代码，造成任务代码过多，即难维护，易不通用。

发明内容

本发明提供了一种易扩展可配置的网络数据收集方法，包括如下步骤：

步骤1，收集任务模板配置步骤：针对目标网站，配置解析模板；

步骤2，模板上传步骤：将配置好的模板上传服务器；

步骤3，记录入库步骤：服务器具有数据库，在数据库的模板表中新增一条记录，该记录用于保存模板服务器路径和模板处理任务类型；

步骤4，设置任务的定时规则和运行机制步骤：任务配置表新增记录，用于配置任务的定时运行机制，通过在数据库配置不同的定时策略，实现指定运行方式；

步骤5，收集任务生成到总任务表步骤：设置一个循环执行脚本，每隔一段时间加载任务配置表的数据，解析其中设置的定时策略，当到达定时时间，加载需要收集的任务链接，对每个链接生成一条对应的记录到总任务表，同时更改定时任务下次的执行时间；

步骤6，总任务表的数据推送到数据库步骤：设置一个循环执行脚本，每隔一段时间加载新生成的任务记录到数据库中，加载成功，修改总任务表记录状态；

步骤7，工作机器向主机请求任务步骤：当工作机器处于休闲状态时，将向主机发送请求，并带上本机的标识机器号，主机接口解析传递的机器号，从配置表查找其对应的工作任务，读取任务需要的模板解析文件，并从数据库中获取任务的链接，将模板信息和任务链接组装成字符串，发送给工作机器，工作机器开始进行任务收集；

步骤8，判断步骤：判断任务收集是否成功，若成功，那么执行保存步骤，否则更新总任务表状态为异常；

步骤9，保存步骤：工作机器将收集到的数据上送主机，主机解析获取的数据存放数据库中，同时更新总任务表工作状态。

作为本发明的进一步改进，在所述收集任务模板配置步骤中，模板字段解析采用xpath方式，模板格式采用json格式。

作为本发明的进一步改进，在所述设置任务的定时规则和运行机制步骤中，能够配置任务的运行策略。

作为本发明的进一步改进，在所述设置任务的定时规则和运行机制步骤中，通过修改数据库的配置参数，去掉已有的定时任务。

作为本发明的进一步改进，在所述工作机器向主机请求任务步骤中，主机将模板信息和任务链接组装json格式的字符串，将字符串发送给工作机器。

本发明还提供了一种易扩展可配置的网络数据收集系统，包括：

收集任务模板配置模块：用于针对目标网站，配置解析模板；

模板上传模块：用于将配置好的模板上传服务器；