[发明专利]一种支持多数据类型的数据交换方法及系统

说明书

本发明公开了一种支持多数据类型的数据交换方法及系统，属于数据处理技术领域，方法包括将kettle工具集成到web端后通过B/S架构编制生成ktr文件，并将生成的ktr文件以及ktr文件所属的数据库连接保存在资源库中；通过配置定时器来配置数据转换任务执行计划；基于DTC数据转换技术，根据配置的数据转换任务执行计划，调用资源库中的ktr文件来执行数据转换任务。另外提供一种支持多数据类型的数据交换系统。将kettle工具集成到web端，通过网页编制ktr文件以供数据转换执行，提高了数据库之间的数据传递效率，降低了数据传递维护成本。

技术领域

本发明涉及数据处理技术领域，特别涉及一种支持多数据类型的数据交换方法及系统。

背景技术

目前，人们进入了一个信息高速传播的时代。各行各业中都要面对各种类型的数据，需要对不同类型数据进行处理和整合。随着信息化的快速发展，数据的处理和整理也变得越来越复杂和困难，这些不同类型的数据之间的整合成了当前信息化发展道路上的难题。

在整合过程中，技术人员发现各类业务数据所用的数据库以及数据类型都不尽相同，整合起来耗时耗力，整合效果也不尽如人意。现在数据整合一般是通过数据库内部的存储过程以及定时器进行定时抽取，ORACLE系统利用自带的dblink进行抽取，当数据库类型不同的时候，直接将数据转换为同一类型到临时表，然后再进行执行脚本同步。由于sql脚本以及存储过程的编写维护对维护人员的要求较高，成本也相应变高。同时由于网段IP的限制，导致数据不能及时的传递，数据传递的时效性比较差。

发明内容

本发明的目的在于提供一种支持多数据类型的数据交换方法及系统，以达到快速转换传递数据的效果。

为实现以上目的，本发明第一方面，提供一种支持多数据类型的数据交换方法，该方法包括：

将kettle工具集成到web端后通过B/S架构编制生成ktr文件，并将生成的ktr文件以及ktr文件所属的数据库连接保存在资源库中；

通过配置定时器来配置数据转换任务执行计划；

基于DTC数据转换技术，根据配置的数据转换任务执行计划，调用资源库中的ktr文件来执行数据转换任务。

进一步地，该方法还包括：

将多个数据转换任务串联，并按照所述配置的数据转换任务执行计划规定的顺序执行。

进一步地，该方法还包括：

对所述资源库中的ktr文件进行管理，用以查看ktr文件的保存路径和文件说明。

进一步地，该方法还包括：

对数据转换任务的执行过程及结果进行记录，包括数据转换任务执行的开始时间、结束时间、执行总条数以及执行出错条数。

进一步地，所述的数据转换任务执行计划，包括：数据转换任务的执行时间以及循环计划；

其中，循环计划包括定点循环执行和固定周期循环执行。

进一步地，该方法还包括：

所述的集成到web端的kettle工具通过数据接口获取数据转换任务，并将执行ktr文件后的数据保存在中间库中。

进一步地，该方法还包括：

集成java的Runnable多线程同步机制，同时执行多条数据转换任务。

第二方面，本发明提供一种支持多数据类型的数据交换系统，该系统包括：与任务管理模块连接的系统管理模块，系统管理模块配置维护人员来维护任务管理模块；

任务管理模块包括分别与任务管理单元的输入端连接的计划管理单元、资源库，以及与资源库输入端连接的kettle编制单元；