[发明专利]系统升级场景下的数据双向同步方法及装置

说明书

本发明可用于大数据技术领域，本发明提供了一种系统升级场景下的数据双向同步方法及装置，系统升级场景下的数据双向同步方法包括：对待同步系统进行旁路监听，以拦截执行SQL语句；对SQL拦截日志与所述待同步系统中数据进行同步解耦，以生成解耦结果；根据所述解耦结果对所述执行SQL语句进行转换；根据转换后的执行SQL语句在所述待同步系统与目标系统之间进行数据同步。本发明克服了传统触发器技术无法实现在信息系统升级改造时数据双向同步的不足，整体解决了双向同步过程中存在的SQL拦截、数据同步、文件处理、同步日志等问题，提供一套系统高可用、组件可替换的整体解决办法。

技术领域

本发明属于大数据技术领域，具体涉及一种系统升级场景下的数据双向同步方法及装置。

背景技术

现有系统经过长期运行后，由于业务的变更调整，现有系统的功能逐渐满足不了业务要求，往往需要对现有信息系统进行升级改造。当改造后的新系统上线后，通常情况下是对现有系统数据一次性迁移到改造后的新系统中，并停用现有系统再启用新系统，但此种情况只涉及到数据一次性迁移技术。如果业主方因实际工作需要，对新旧系统设置了并行过渡期，在此情景下，一般是实现由现有系统向新系统的单向数据同步，即在现有系统发生的数据更新同步到新系统中，在新系统中的数据更新不同步到现有系统，主要使用到的是基于数据库触发器的同步技术。

当要求新旧系统并行双向实现数据同步时，将面临同步回环、全局ID冲突、同步时效、同步高可用等问题，单纯的使用数据库触发器不能较好的解决新旧系统数据双向同步面临的问题。具体地，其中数据库触发器技术的主要缺点是：

(1)需要在现有系统的数据库中增加N*6的触发器和临时表(其中N为原始表数量，每张表增、删、改操作各需设置1个触发器和1张临时表)，对数据库的并发压力增加较大；

(2)当新旧系统为异构数据库时，触发器对字段不兼容。

发明内容

需要说明的是，本发明所提供的系统升级场景下的数据双向同步方法及装置应用于大数据技术领域。

针对现有技术中的问题，本发明提出了在信息改造的情景下如何实现新旧系统并行双向同步的整体解决方案，且综合考虑了在新旧系统双向同步过程中的同步时效与高可用问题，并提出了解决办法；另外，本发明在双向同步的流程各环节实现了充分的解耦，便于替换组件；以及在双向同步的流程各环节实现了配置化，便于控制同步时效及上下游组件间的配合执行速度。为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种系统升级场景下的数据双向同步方法，包括：

对待同步系统进行旁路监听，以拦截执行SQL语句；

对SQL拦截日志与所述待同步系统中数据进行同步解耦，以生成解耦结果；

根据所述解耦结果对所述执行SQL语句进行转换；

根据转换后的执行SQL语句在所述待同步系统与目标系统之间进行数据同步。

一实施例中，所述对待同步系统进行旁路监听，以拦截执行SQL语句包括：

在所述待同步系统设置SQL语句拦截组件；所述SQL语句拦截组件包括：Log4jdbc以及Druid；

利用所述SQL语句拦截组件拦截所述执行SQL语句。

一实施例中，在对SQL拦截日志与所述待同步系统中数据进行同步解耦，以生成解耦结果之前，还包括：

根据预生成SQL语句输出格式以及SQL拦截日志生成规则生成所述SQL拦截日志，包括：

配置所述SQL语句拦截组件；

根据配置后的SQL语句拦截组件、所述SQL语句输出格式以及SQL拦截日志生成规则生成所述SQL拦截日志。