[发明专利]可配置化数据传输及监控方法、设备及介质

说明书

本发明公开了一种可配置化数据传输及监控方法，涉及数据传输技术领域，旨在应用于异构数据源的数据至异构目标源的传输，根据可配置化信息实现数据传输，以完成异构型数据源之间的数据共享。该方法包含以下步骤：实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件；调度Datax引擎解析所述调度配置文件，以读取数据源的数据并写入目标源。本发明还公开了一种电子设备和计算机存储介质。

技术领域

本发明涉及数据传输技术领域，尤其涉及一种可配置化数据传输及监控方法、设备及介质。

背景技术

在大数据背景下，数据具有十分重要的价值，如何运用和分析数据已经成为了信息化管理中不可或缺的一部分，因此数据的传输、共享、应用和分析是在大数据时代至关重要。

然而，在传统的软件行业中，数据一般存储在多种异构型的第三方数据服务中，只能满足自身应用的使用。由于数据服务内部闭塞，从而形成数据孤岛，导致数据无法共享和分析；且由于异构型数据服务的多样性，导致不同数据服务在对接过程中会出现数据类型和数据规则不匹配的问题。在实际生产中，我们需要对数据进行抽取、转化和加载操作，形成数据集市、业务库和数据仓库，以用于数据分析和使用，但原有的数据服务模式则不支持这一操作。

综上所述，如何让不同类型的异构化数据服务共享在同一类型的数据服务平台中，并打通各个数据服务的内部关系，以满足数据共享、应用和分析的需求，已经成为目前本领域技术人员亟待解决的问题。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种可配置化数据传输及监控方法，应用于不同类型的异构化数据源，旨在通过配置信息进行数据源与目标源之间的数据传输，并提供数据传输的监控。

本发明的目的之一采用以下技术方案实现：

一种可配置化数据传输及监控方法，包括以下步骤：

实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件；

调度Datax引擎解析所述调度配置文件，以读取数据源的数据并写入目标源。

进一步地，实时获取并监控任务配置信息，根据所述任务配置信息生成调度配置文件，具体包括以下步骤：

实时获取任务配置信息，监控所述任务配置信息是否满足调度条件，若满足，则获取数据源到目标源的文件映射模板；

将所述任务配置信息写入所述文件映射模板，生成调度配置文件。

进一步地，调度Datax引擎解析所述调度配置文件，包括：

所述Datax引擎解析所述调度配置文件，得到数据源和目标源的映射关系；

测试所述数据源和所述目标源的链接状态。

进一步地，读取数据源的数据写入目标源之前，还包括以下步骤：

判断所述数据源的数据是否满足所述目标源的数据格式；

若满足，则读取所述数据源的数据写入所述目标源；

反之，将脏数据存储至日志信息。

进一步地，读取数据源的数据并写入目标源，具体为：调度Datax引擎批量多线程读取并加密所述数据源的数据，并将所述数据源的数据批量多线程的写入所述目标源。

进一步地，还包括以下步骤：

获取并解析所述Datax引擎的日志信息，更新所述任务配置信息，删除所述调度配置文件。

进一步地，获取并解析所述Datax引擎的日志信息，包括：