[发明专利]用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及计算机存储介质

权利要求书

1.一种用于实现低代码配置化ETL数据转换的平台系统，其特征在于，所述的系统包括：

任务生成器处理模块，与所述的平台系统相连接，用于按照用户定义的任务执行相应的计划，以生成执行任务；

任务调度器处理模块，与所述的平台系统相连接，用于根据执行任务的要求，选择当前注册的任务执行器，并提交至任务执行器执行任务；

任务执行器处理模块，与所述的平台系统相连接，用于接收任务调度器提交的任务，并根据执行参数执行资源库里的作业或转换；

平台监视器处理模块，与所述的平台系统相连接，用于实时监控任务的执行情况以及各个组件的健康情况，并接入短信与邮件网关实现告警信息的推送；以及

资源库处理模块，与所述的平台系统相连接，用于进行存放作业及转换。

2.根据权利要求1所述的用于实现低代码配置化ETL数据转换的平台系统，其特征在于，所述的任务生成器处理模块可集群部署，为一主多备多活的架构。

3.根据权利要求1所述的用于实现低代码配置化ETL数据转换的平台系统，其特征在于，所述的任务调度器处理模块可集群部署，为一主多备多活的架构。

4.根据权利要求1所述的用于实现低代码配置化ETL数据转换的平台系统，其特征在于，所述的任务执行器处理模块为独立的Kettle Carte服务。

5.一种基于权利要求1所述的系统实现低代码配置化ETL数据转换的方法，其特征在于，所述的方法包括以下步骤：

(1)创建ETL数据转换管理平台；

(2)创建与注册资源库；

(3)创建与注册任务执行器；

(4)部署任务生成器；

(5)部署任务调度器；

(6)根据用户需求配置计划任务，并设置任务组，查看任务生成及执行情况。

6.根据权利要求5所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(1)具体包括以下步骤：

(1.1)搭建配置数据库，创建平台管理用户及相应的配置表以及存储过程；

(1.2)搭建B/S管理页面，连接配置数据库；

(1.3)配置监视器。

7.根据权利要求5所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(2)具体包括以下步骤：

(2.1)创建资源库：开发通用执行组件或自定义作业，存放在统一目录下；

(2.2)在所述的管理平台配置资源库。

8.根据权利要求5所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(3)具体包括以下步骤：

(3.1)在转换服务器中配置服务端口及日志管理策略，启动Kettle Carte服务。

(3.2)在管理平台注册执行器，查看执行器的健康状态及负载情况。

9.根据权利要求5所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(4)具体包括以下步骤：

(4.1)启动任务生成器，任务生成器将根据配置的任务执行参数生成执行任务。

(4.2)生成执行参数。

10.根据权利要求9所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(4.2)生成执行参数包括但不限于：根据资源库的配置生成执行路径、根据任务预定义的相关参数生成相关变量。

11.根据权利要求5所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(5)具体为：

启动所述的任务调度器，所述的任务调度器将检查所述的任务生成器生成的待执行任务，同时根据所述的任务执行器当前的负载情况动态选择相应的任务执行器，并将执行任务提交给所述的任务执行器，最后将提交结果反馈给执行任务。