[发明专利]一种用于离线数据采集的方法和装置

权利要求书

1.一种用于离散数据采集的方法，所述方法包括步骤：

配置采集任务信息；

根据所述采集任务信息，生成引擎可识别配置文件和调度框架可识别配置文件；

调度框架根据所述引擎可识别配置文件和所述调度框架可识别配置文件调用引擎执行任务；

所述引擎存储任务相关日志和其它指标信息；以及

基于存储的任务相关日志和其它指标信息进行展示。

2.根据权利要求1所述的方法，其中，所述配置采集任务信息的步骤进一步包括：

配置源端数据源和目标端数据源的地址信息和用户信息；以及

基于所述地址信息和所述用户信息选择所述源端数据源和所述目标端数据源。

3.根据权利要求1所述的方法，其中，所述配置采集任务信息的步骤进一步包括：

配置数据抽取规则。

4.根据权利要求1所述的方法，其中，所述配置采集任务信息的步骤进一步包括：

配置流量控制信息。

5.根据权利要求1所述的方法，其中，所述配置采集任务信息的步骤进一步包括：

配置调度频率和要用于执行任务的引擎。

6.根据权利要求1所述的方法，其中，所述根据所述采集任务信息生成引擎可识别配置文件和调度框架可识别配置文件的步骤进一步包括：

扫描新产生的所述采集任务配置；

解析所述采集任务配置，根据预定义的引擎配置模板生成所述引擎可识别配置文件；以及

解析所述采集任务配置，根据调度频率和所述引擎可识别配置文件生成所述调度框架可识别配置文件。

7.根据权利要求1所述的方法，其中，所述调度框架根据所述引擎可识别配置文件和所述调度框架可识别配置文件调用引擎执行任务的步骤进一步包括：

所述调度框架扫描生成的所述调度框架可识别配置文件；

根据所述调度框架可识别配置文件，所述调度框架触发调度任务；以及

所述引擎根据所述调度任务执行数据采集任务。

8.根据权利要求1所述的方法，其中，所述引擎存储任务相关日志和其它指标信息的步骤进一步包括：

在所述任务完成之后，所述引擎将所述任务相关日志和所述其它指标信息写入到后端存储器进行汇总，

其中，所述其他指标信息至少包括数据流速、内存使用情况。

9.根据权利要求1所述的方法，其中，所述基于存储的任务相关日志和其它指标信息进行展示的步骤进一步包括：

前端根据用户的参数调用后端接口，汇总所述任务相关日志和所述其它指标信息并进行过滤后展示给所述用户。

10.一种用于执行离散数据采集方法的装置，所述装置包括：

通信单元，被配置为执行数据的发送和接收；

显示单元，被配置为显示数据；

存储器，被配置为存储数据和指令；

处理器，所述处理器可操作性地耦合到所述通信单元、所述显示单元和所述存储器，并且被配置为：

配置采集任务信息；

根据所述采集任务信息，生成引擎可识别配置文件和调度框架可识别配置文件；

控制调度框架根据所述引擎可识别配置文件和所述调度框架可识别配置文件调用引擎执行任务；

控制所述引擎在所述存储器中存储任务相关日志和其它指标信息；以及

控制所述显示单元基于存储的任务相关日志和其它指标信息进行展示。

11.根据权利要求10所述的装置，其中，所述处理器进一步被配置为：

配置源端数据源和目标端数据源的地址信息和用户信息；

基于所述地址信息和所述用户信息选择所述源端数据源和所述目标端数据源；

配置数据抽取规则；

配置流量控制信息；以及

配置调度频率和要用于执行任务的引擎。