[发明专利]一种CDC数据分发方法和装置

权利要求书

1.一种CDC数据分发方法，其特征在于，它包括以下步骤：

①配置抽取信息：通过配置界面配置用于抽取数据库中数据的抽取信息；

②抽取进程：读取配置的抽取信息，把源数据库中的数据从与业务相关的系统的数据库中抽取出来生成文本文件；

③配置装载信息：通过配置界面配置用于装载数据库中数据的装载信息；

④装载进程：读取所述装载信息，并把抽取进程导出的文本文件装载到用于存放抽取的文本文件的目标数据库中。

2.根据权利要求1所述的一种CDC数据分发方法，其特征在于：所述抽取进程包括Mysql抽取、Sql server抽取、greenplum抽取、Oracle抽取、db2抽取和/或组抽取。

3.根据权利要求2所述的一种CDC数据分发方法，其特征在于：其中，所述Mysql抽取包括以下步骤：

①Mysql抽取进程向Mysql数据库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在Mysql连接的时间窗口内，③如果在时间窗口范围内，连接Mysql数据库，利用Mysql API接口将数据导出生成文本文件，④如果不在时间窗口范围内，直接结束抽取工作；

所述Sql server抽取包括以下步骤：

①Sql server抽取进程向Sql server数据库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在Sql server连接的时间窗口内，③如果在时间窗口范围内，连接Sql server数据库，利用freetds API接口将数据导出生成文本文件，④如果不在时间窗口范围内，直接结束抽取工作；

所述greenplum抽取包括以下步骤：

①greenplum抽取进程向greenplum分布式数据仓库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在greenplum连接的时间窗口内，③如果在时间窗口范围内，连接greenplum数据库，利用copy命令接口将数据导出生成文本文件，④如果不在时间窗口范围内，直接结束抽取工作；

所述Oracle抽取包括以下步骤：

①Oracle抽取进程向Oracle数据库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在Oracle连接的时间窗口内，③如果在时间窗口范围内，连接Oracle数据库，通过记录的数据块地址，抽取进程对一张数据源表进行抽取，最终将数据导出生成文本文件，④如果不在时间窗口范围内，直接结束抽取工作；

所述db2抽取包括以下步骤：

①db2抽取进程向db2数据库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在db2连接的时间窗口内，③如果在时间窗口范围内，连接db2数据库，在db2多分区数据中自动在所有分区开启多个对应的分区抽取进程，分布式导出数据生成文本文件，④如果不在时间窗口范围内，直接结束抽取工作；

所述组抽取包括以下步骤：

①组抽取进程向两个或两个以上相同或者不同类型的数据库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在组抽取下抽取连接的时间窗口内，③如果在时间窗口范围内，连接相对应的数据库，当组抽取下所有的抽取完成后，整个组抽取结束，否则为失败，④如果不在时间窗口范围内，直接结束抽取工作。

4.根据权利要求1所述的一种CDC数据分发方法，其特征在于：所述装载数据进程包括数据装载、db2装载、Oracle装载、和/或greenplum装载。

5.根据权利要求1所述的一种CDC数据分发方法，其特征在于：在进行所述装载进程中读取配置的装载信息时，根据对应的抽取信息，把抽取出来的文本文件装载到目标数据库，如果装载失败，重新读取装载配置信息再进行装载。