[发明专利]一种基于互联网的数据采集系统

权利要求书

1.一种基于互联网的数据采集系统，包括采集服务器、采集客户端，其特征在于，所述采集客户端包括若干采集组件、若干池组件和若干接口组件；所述采集组件包括配置解析器、任务调度器、流程控制器、流程执行器、流程返回器；所述池组件包括采集任务池、配置池、采集线程资源池；所述接口组件包括获取采集任务接口、获取配置接口、数据返回接口；其中至少一个所述采集组件通过至少一个所述接口组件调用至少一个所述池组件；

所述采集客户端执行采集任务时，所述采集组件按照如下方式配置：

所述配置解析器即配置解析主模块，所述配置解析主模块的二级模块包括配置实例化模块、配置版本比对模块、生成配置池模块，其中配置实例化模块被配置为将配置以文件格式实例化到本地磁盘，以JSON格式文件存；所述配置版本比对模块被配置为从采集服务器返回的任务进行配置比对，所述生成配置池模块被配置为将未执行的任务配置放入配置池；

所述任务调度器即任务调度主模块，所述任务调度主模块被配置为：采集线程通过任务调度主模块，从所述配置池中取得对应任务的采集配置和流程配置，放入所述采集线程资源池，并启动流程控制器；所述任务调度主模块的二级模块包括调度算法模块、启动采集线程模块、获取任务接口模块、生成采集线程资源池模块、清空采集线程资源池模块、清除采集任务池模块和清除配置池模块；

所述流程控制器即流程控制器主模块，所述流程控制器主模块被配置为：从采集线程资源池中取得流程配置，根据所述流程配置中的执行顺序，通知流程执行器调用执行节点流程的先后执行，执行结果发生异常时根据流程配置的异常处理情况，进行相应处理；所述流程控制器主模块的二级模块包括流程节点执行模块、配置版本比对模块、生成配置池模块；

所述流程执行器即流程执行器主模块，所述流程执行器主模块被配置为：执行节点业务、将执行结果发送给所述流程控制器，所述节点业务包括但不限于登录、取页面、标准化处理、抽取；所述流程执行器主模块的二级模块包括流程节点执行模块、获取代理模块、打码模块、登录模块、取页面模块、标准化模块、数字提取模块，其中，所述流程节点执行模块被配置为，输入流程节点配置以及上一流程节点返回值，执行节点定义的代码逻辑，输出当前流程节点返回值；

所述流程返回器即流程返回主模块，所述流程返回主模块被配置为：接收流程控制器发来的最后节点信息，将流程结束信息发送给所述任务调度器；所述流程返回主模块的二级模块包括生成返回数据模块、调用数据返回接口模块。

2.如权利要求1所述的系统，其特征在于，所述配置解析器的配置被执行时：调用获取配置接口，获取任务需要配置后优先与本地的配置文件进行比对，如过本地配置版本与流程配置版本相同，则将本地配置放入配置池，如版本不同则从采集服务器下载相应配置后，将配置放入配置池；所述配置文件包括但不限于：采集客户端ID、采集客户端版本、最大取任务数、采集任务池中的任务数量阈值、允许的最大线程数量、采集客户端计算机配置信息。

3.如权利要求1所述的系统，其特征在于，所述任务调度器的配置中，包括但不限于配置有执行失效期的任务的最晚执行时间的绝对值、任务优先级、网站采集频率、采集客户端允许的最大线程数；所述调度算法模块被配置为：执行输入则调度考虑因素和采集任务池、执行输出则需要执行的任务ID；所述获取任务接口模块被配置为，执行输入则获取采集客户端ID，执行输出则需要执行的任务队列；所述生成 采集线程资源池模块被配置为，从配置池中读取本次采集任务对应的配置信息，并生成采集线程资源池。

4.如权利要求1所述的系统，其特征在于，所述流程控制器的配置中，需要根据返回执行情况判断是否需要异常处理，如果需要异常处理则执行异常处理调度，如果不需要异常处理再判断是否为最后节点；在执行异常处理调度过程中，如果是部分失败则与执行正常按序调度结果一起发送到流程执行器，如果是完全失败则送到流程返回器；在执行判断是否为最后节点的过程中，如果是最后节点则通知所述流程返回器，如果不是最后节点则进行正常按序调度；

所述流程节点执行模块被执行时，执行输入则流程异常配置、上一流程节点返回值、执行输出则下个节点名称；所述配置版本比对模块被执行时，则对从采集服务器返回的任务配置进行比对，如有更新，则更新任务配置；所述生成配置池模块被执行时，则将未执行的任务配置放入配置池。