[发明专利]一种基于kettle和数据库日志的数据同步方法

权利要求书

1.一种基于kettle和数据库日志的数据同步方法，其特征在于，该方法包括以下步骤：

(1)获取数据源和目标数据库连接信息；

(2)确定数据同步方式；

(3)根据同步方式执行相应的数据同步操作。

2.根据权利要求1所述的一种基于kettle和数据库日志的数据同步方法，其特征在于，步骤(1)中获取数据源和目标数据库连接信息，包括以下步骤：

(11)确定数据源类型，包括：手工填写表格数据源、数据库源；

(12)根据数据源类型，确定数据源访问方法；

(13)确定目标数据库类型、访问方法和数据库读写方式；

(14)创建数据库基本信息表。

3.根据权利要求1所述的一种基于kettle和数据库日志的数据同步方法，其特征在于，步骤(2)中根据数据源数据的数量级、数据类型和数据更新频率确定数据同步方式，所述同步方式包括全量同步和增量同步。

4.根据权利要求1所述的一种基于kettle和数据库日志的数据同步方法，其特征在于，所述步骤(2)中确定的数据同步方式为全量同步时步骤(3)执行全量同步，在数据库同步更新时首先清空目标库中的数据，然后将数据源的数据全部重新加载到目标数据库，包括以下步骤：

(31)全量同步时在kettle图形界面中进行初始化配置，包括以下步骤：

(31-1)根据源数据库类型获取驱动程序；

(31-2)初始化源数据库和目标数据库连接与映射；

(31-3)初始化手工填写表格文件的存储路径；

(31-4)初始化数据同步间隔周期；

(32)清除目标库中的数据；

(33)获取手工填写表格数据源的数据，包括以下步骤：

(33-1)根据手工填写表格文件的存储路径判断是否有数据文件；

(33-2)如果有文件，则进一步判断文件的类型；

(33-3)根据文件类型判断数据存储方式并进行数据存储；

(34)获取数据库源的数据；

(35)利用kettle工具的作业和转换将数据加载至目标数据库，包括以下步骤：

(35-1)对手工填写的表格文件的数据进行规范化处理；

(35-2)读取获取的手工填写表格数据源和数据库源的数据；

(35-3)数据写入，根据映射关系将获得的数据加载到目标数据库；

(36)定时重复执行步骤(32)到(35)。

5.根据权利要求4所述的一种基于kettle和数据库日志的数据同步方法，其特征在于，所述步骤(34)中获取数据库源数据，根据查询条件获取数据库中需要同步的全部数据。