[发明专利]可配置化数据传输及监控方法、设备及介质

权利要求书

1.一种可配置化数据传输及监控方法，其特征在于，包括以下步骤：

实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件；

调度Datax引擎解析所述调度配置文件，以读取数据源的数据并写入目标源。

2.如权利要求1所述的可配置化数据传输及监控方法，其特征在于，实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件，具体包括以下步骤：

实时获取任务配置信息，监控所述任务配置信息是否满足调度条件，若满足，则获取数据源到目标源的文件映射模板；

将所述任务配置信息写入所述文件映射模板，生成调度配置文件。

3.如权利要求2所述的可配置化数据传输及监控方法，其特征在于，调度Datax引擎解析所述调度配置文件，包括：

所述Datax引擎解析所述调度配置文件，得到数据源和目标源的映射关系；

测试所述数据源和所述目标源的链接状态。

4.如权利要求3所述的可配置化数据传输及监控方法，其特征在于，读取数据源的数据并写入目标源之前，还包括以下步骤：

判断所述数据源的数据是否满足所述目标源的数据格式；

若满足，则读取所述数据源的数据写入所述目标源；

反之，将脏数据存储至日志信息。

5.如权利要求1-4任一项所述的可配置化数据传输及监控方法，其特征在于，读取数据源的数据并写入目标源，具体为：调度Datax引擎批量多线程读取并加密所述数据源的数据，并将所述数据源的数据批量多线程的写入所述目标源。

6.如权利要求5所述的可配置化数据传输及监控方法，其特征在于，还包括以下步骤：

获取并解析所述Datax引擎的日志信息，更新所述任务配置信息，删除所述调度配置文件。

7.如权利要求6所述的可配置化数据传输及监控方法，其特征在于，获取并解析所述Datax引擎的日志信息，包括：

根据所述日志信息判断调度过程是否正常，若正常，则储存所述日志信息作为正常调度信息；

反之，存储所述日志信息，同时记录所述日志信息的异常调度过程。

8.如权利要求1所述的可配置化数据传输及监控方法，其特征在于，所述任务配置信息包括任务名称、任务有效期、任务调度时间、任务调度间隔、数据源数据的筛选条件和最近一次调度时间。

9.一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的可配置化数据传输及监控方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的可配置化数据传输及监控方法。