[发明专利]一种易扩展可配置的网络数据收集方法、系统及存储介质

权利要求书

1.一种易扩展可配置的网络数据收集方法，其特征在于，包括如下步骤：

步骤1，收集任务模板配置步骤：针对目标网站，配置解析模板；

步骤2，模板上传步骤：将配置好的模板上传服务器；

步骤3，记录入库步骤：服务器具有数据库，在数据库的模板表中新增一条记录，该记录用于保存模板服务器路径和模板处理任务类型；

步骤4，设置任务的定时规则和运行机制步骤：任务配置表新增记录，用于配置任务的定时运行机制，通过在数据库配置不同的定时策略，实现指定运行方式；

步骤5，收集任务生成到总任务表步骤：设置一个循环执行脚本，每隔一段时间加载任务配置表的数据，解析其中设置的定时策略，当到达定时时间，加载需要收集的任务链接，对每个链接生成一条对应的记录到总任务表，同时更改定时任务下次的执行时间；

步骤6，总任务表的数据推送到数据库步骤：设置一个循环执行脚本，每隔一段时间加载新生成的任务记录到数据库中，加载成功，修改总任务表记录状态；

步骤7，工作机器向主机请求任务步骤：当工作机器处于休闲状态时，将向主机发送请求，并带上本机的标识机器号，主机接口解析传递的机器号，从配置表查找其对应的工作任务，读取任务需要的模板解析文件，并从数据库中获取任务的链接，将模板信息和任务链接组装成字符串，发送给工作机器，工作机器开始进行任务收集；

步骤8，判断步骤：判断任务收集是否成功，若成功，那么执行保存步骤，否则更新总任务表状态为异常；

步骤9，保存步骤：工作机器将收集到的数据上送主机，主机解析获取的数据存放数据库中，同时更新总任务表工作状态。

2.根据权利要求1所述的网络数据收集方法，其特征在于，在所述收集任务模板配置步骤中，模板字段解析采用xpath方式，模板格式采用json格式。

3.根据权利要求1所述的网络数据收集方法，其特征在于，在所述设置任务的定时规则和运行机制步骤中，能够配置任务的运行策略。

4.根据权利要求3所述的网络数据收集方法，其特征在于，在所述设置任务的定时规则和运行机制步骤中，通过修改数据库的配置参数，去掉已有的定时任务。

5.根据权利要求2所述的网络数据收集方法，其特征在于，在所述工作机器向主机请求任务步骤中，主机将模板信息和任务链接组装json格式的字符串，将字符串发送给工作机器。

6.一种易扩展可配置的网络数据收集系统，其特征在于，包括：

收集任务模板配置模块：用于针对目标网站，配置解析模板；

模板上传模块：用于将配置好的模板上传服务器；

记录入库模块：服务器具有数据库，在数据库的模板表中新增一条记录，该记录用于保存模板服务器路径和模板处理任务类型；

设置任务的定时规则和运行机制模块：用于任务配置表新增记录，用于配置任务的定时运行机制，通过在数据库配置不同的定时策略，实现指定运行方式；

收集任务生成到总任务表模块：用于设置一个循环执行脚本，每隔一段时间加载任务配置表的数据，解析其中设置的定时策略，当到达定时时间，加载需要收集的任务链接，对每个链接生成一条对应的记录到总任务表，同时更改定时任务下次的执行时间；

总任务表的数据推送到数据库模块：用于设置一个循环执行脚本，每隔一段时间加载新生成的任务记录到数据库中，加载成功，修改总任务表记录状态；

工作机器向主机请求任务模块：用于当工作机器处于休闲状态时，将向主机发送请求，并带上本机的标识机器号，主机接口解析传递的机器号，从配置表查找其对应的工作任务，读取任务需要的模板解析文件，并从数据库中获取任务的链接，将模板信息和任务链接组装成字符串，发送给工作机器，工作机器开始进行任务收集；

判断模块：用于判断任务收集是否成功，若成功，那么运行保存模块，否则更新总任务表状态为异常；

保存模块：用于工作机器将收集到的数据上送主机，主机解析获取的数据存放数据库中，同时更新总任务表工作状态。