[发明专利]基于SpringBoot框架调度Kettle进行数据抽取转换的方法

说明书

本发明公开一种基于SpringBoot框架调度Kettle进行数据抽取转换的方法，安装3台Centos7服务器，其中一台服务器安装Mysql数据库，在3台服务器上上传kettle8.1版本的执行文件，启动carte服务器，然后再安装Mysql数据库的服务器作为master节点，启动一个kettle创建一个资源库后连接资源库，并创建一个数据转换的集群任务，将工程项目配置好数据库连接信息和kettle连接信息后编译为一个可运行的jar包，传送到3台服务器上，后台运行3个jar包，通过接口访问其中任意一台服务器的功能接口，对接一个前端，完成可视化操作接口，达到方便，友好的操作调度任务。

技术领域

本发明涉及大数据处理技术领域，具体涉及一种使用SpringBoot框架调度Kettle进行数据抽取转换工作的方法。

背景技术

随着云计算技术的不断发展，云计算技术不断落地成为支撑各行业信息技术发展的重要支柱。而云计算的背后必定需要大数据平台的支撑，大量的数据如何抽取到大数据平台，其中一个解决方案就是使用开源的ETL工具Kettle来进行抽取，但是Kettle的每次抽取都要手动去点击执行，当然，kettle本身也带了定时调度功能，但是使用起来不是非常的友好和方便。

发明内容

本发明目的是提供一种界面友好的，功能强大的、易于操作的基于SpringBoot框架调度Kettle进行大数据抽取调度工具。

本发明的技术方案如下：

一种基于SpringBoot框架调度Kettle进行数据抽取转换的方法，其特征在于：

步骤1：安装3台Centos7服务器，配置好服务器对应的IP为静态地址，在服务器中安装JDK＝1.8版本的Java运行环境，其中一台服务器安装Mysql数据库。

步骤:2：在3台服务器上上传kettle8.1版本的执行文件，启动carte服务器，然后再安装Mysql数据库的服务器作为master节点，使用启动一个kettle的spoon.sh创建一个资源库后连接资源库，并创建一个数据转换的集群任务。

步骤3：将工程项目配置好数据库连接信息和kettle连接信息后编译为一个可运行的jar包，传送到3台服务器上，并后台运行3个jar包。

步骤4：通过接口访问其中任意一台服务器的功能接口都行，对接一个前端，可以完成可视化操作接口，达到方便，友好的操作调度任务，集群部署方式能达到稳定，高效的功能。

本发明提供了一个功能友好、功能强大、可配置的调度工具，来调度kettle的大数据抽取任务。

具体实施方式

本发明的技术思路如下：

1、技术框架选型：采用目前Java EE最新的开发框架SpringBoot2.0搭建一个提供RESTful接口的Web项目，集成定时调度框架Quartz，和调用Kettle的依赖jar包。

2、定义项目的配置：

定义统一的RESTful接口数据返回格式；

重写JobFactory的实现方式，使其可以放入到sping容器中进行管理；

使用hikari数据库连接池连接资源库和其他数据库，并初始化调度任务数据库和kettle的资源库；

配置quartz为数据库存储，配置其部署方式为集群部署；

配置kettle连接资源库的信息。