[发明专利]用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及计算机存储介质

说明书

本发明涉及一种用于实现低代码配置化ETL数据转换的平台系统，其中，该系统包括：任务生成器处理模块，用于根据用户定义的执行计划生成执行任务；任务调度器处理模块，用于根据执行任务的要求选择注册的任务执行器；任务执行器处理模块，用于接收任务调度器提交的任务，并根据执行参数执行资源库里的作业或转换；平台监视器处理模块，用于实时监控任务的执行情况以及各个组件的健康情况；资源库处理模块，用于进行存放作业及转换。本发明还涉及相应的方法、装置、处理器及其存储介质。采用了本发明的上述技术方案，通过开发可视化的任务配置功能，能够减少使用人员的学习成本；并且通过配置参数复用公共组件，能够有效的减少重复开发。

技术领域

本发明涉及数据转换开发领域，尤其涉及ETL数据转换技术领域，具体是指一种用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质。

背景技术

当前ETL数据转换工具很多，如DataPineline,datastage,informatica,kettle,Datax,cognos等，虽然这些转换工具或平台功能都特别强大，能够处理复杂数据转换逻辑，但是正是因为如此，使用这些转换工具需要很强的专业背景，学习使用的成本很高。此外，有些转换工具的使用datastage,informatica也需要对应的商业许可。因此，目前的开发工具均存在种种局限性，不便于针对性的适时使用。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种适用性较为广泛且可利用率极高的用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质。

为了实现上述目的，本发明的用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质如下：

该用于实现低代码配置化ETL数据转换的平台系统，其主要特点是，所述的系统包括：

任务生成器处理模块，与所述的平台系统相连接，用于按照用户定义的任务执行相应的计划，以生成执行任务；

任务调度器处理模块，与所述的平台系统相连接，用于根据执行任务的要求，选择当前注册的任务执行器，并提交至任务执行器执行任务；

任务执行器处理模块，与所述的平台系统相连接，用于接收任务调度器提交的任务，并根据执行参数执行资源库里的作业或转换；

平台监视器处理模块，与所述的平台系统相连接，用于实时监控任务的执行情况以及各个组件的健康情况，并接入短信与邮件网关实现告警信息的推送；以及

资源库处理模块，与所述的平台系统相连接，用于进行存放作业及转换。

较佳地，所述的任务生成器处理模块可集群部署，为一主多备多活的架构。

较佳地，所述的任务调度器处理模块可集群部署，为一主多备多活的架构。

较佳地，所述的任务执行器处理模块为独立的Kettle Carte服务。

该基于上述系统实现低代码配置化ETL数据转换的方法，其主要特点是，所述的方法包括以下步骤：

(1)创建ETL数据转换管理平台；

(2)创建与注册资源库；

(3)创建与注册任务执行器；

(4)部署任务生成器；

(5)部署任务调度器；

(6)根据用户需求配置计划任务，并设置任务组，查看任务生成及执行情况。

较佳地，所述的步骤(1)具体包括以下步骤：

(1.1)搭建配置数据库，创建平台管理用户及相应的配置表以及存储过程；