[发明专利]一种关系型异构数据库数据同步的方法及系统

说明书

技术领域

本发明关于大型数据库的数据处理技术领域，特别是关于大型数据库系统之间的数据同步技术，具体的讲是一种关系型异构数据库数据同步的方法及系统。

背景技术

现有技术中的大型IT系统，各个不同的应用间一般有大量的信息需要进行同步。数据同步的处理方法包括如下几类：

（一）、采用日终批量进行处理。该种方式具有如下缺陷：但是采用日终批量的方法首先牺牲了数据同步的时效性，上游应用最新维护的数据在第一时间无法同步到下游，从而在较长的时间段内引起上下游数据的不一致；每新增一个表的上下游同步就要同时开发一套批量同步程序，可维护性较差。

（二）、多数数据库系统使用数据库链进行分布式事务提交。该种方式具有如下明显不足：只适用于种类相同的数据库之间，异构数据库之间无法使用；由分布式事务带来的分布式事务锁占用了一定系统资源增大了系统开销；完成数据同步的过程需要同步修改交易，程序维护量较大。

发明内容

为了克服现有技术存在的上述问题，本发明提供了一种关系型异构数据库数据同步的方法及系统，针对时效要求较高的数据同步需求，使用单独的服务器连接源数据库和目标数据库，采用读取源数据库产生的归档日志文件，分析后转化为标准SQL语句并传送给目标数据库，最后在目标数据库上运行这些SQL语句实现数据同步工作，对异构数据库的数据提供同步机制并降低系统开销和程序维护工作，同时大大提高数据同步的时效性。

本发明的目的之一是，提供一种关系型异构数据库数据同步的方法，包括：获取用户预先配置的同步表文件、关键字信息表、语句调用表；实时获取源数据库产生的归档日志文件；对所述的归档日志文件进行分析，转化为标准SQL语句；实时获取源数据库产生的后续日志文件；根据所述的后续日志文件将所述的标准SQL语句传输至目标数据库。

本发明的目的之一是，提供了一种关系型异构数据库数据同步的系统，所述的系统具体包括源数据库、目标数据库以及数据同步设备，其中，所述的数据同步设备具体包括：预设信息获取装置，用于获取用户预先配置的同步表文件、关键字信息表、语句调用表；归档日志文件获取装置，用于实时获取源数据库产生的归档日志文件；分析装置，用于对所述的归档日志文件进行分析，转化为标准SQL语句；后续日志文件获取装置，用于实时获取源数据库产生的后续日志文件；语句传输装置，用于根据所述的后续日志文件将所述的标准SQL语句传输至目标数据库。

本发明的有益效果在于，提供了一种关系型异构数据库数据同步的方法及系统，针对时效要求较高的数据同步需求，使用单独的服务器连接源数据库和目标数据库，采用读取源数据库产生的归档日志文件，分析后转化为标准SQL语句并传送给目标数据库，最后在目标数据库上运行这些SQL语句实现数据同步工作，对异构数据库的数据提供同步机制并降低系统开销和程序维护工作，打破了只能在相同类型数据库间同步的局限，在投入较小、通过简单的配置的情况下即可实现异构数据库之间的数据实时同步。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种关系型异构数据库数据同步的方法的实施方式一的流程图；

图2为本发明实施例提供的一种关系型异构数据库数据同步的方法的实施方式二的流程图；

图3为图1中的步骤S103的具体流程图；

图4为图3中的步骤S303的具体流程图；

图5为图1中的步骤S105的具体流程图；

图6为本发明实施例提供的一种关系型异构数据库数据同步的方法的实施方式三的流程图；

图7为本发明实施例提供的一种关系型异构数据库数据同步的系统的结构框图；

图8为本发明实施例提供的一种关系型异构数据库数据同步的系统中数据同步设备300的实施方式二的结构框图；

图9为本发明实施例提供的一种关系型异构数据库数据同步的系统中数据同步设备300的分析装置303的具体结构框图；

图10为本发明实施例提供的一种关系型异构数据库数据同步的系统中分析装置301的获取模块3033的具体结构框图；