[发明专利]一种实现跨安全隔离网闸数据库实时同步的方法及系统

说明书

本发明实施例提供了一种实现跨安全隔离网闸数据库实时同步的方法及系统，所述方法包括：监控源数据库获取WAL变更日志；基于逻辑解码LogicalDecoding从WAL日志中解析逻辑变更事件；将逻辑变更事件转化成变更内容再格式化为SQL文本；将SQL文本依次传输到增量采集模块中；根据配置文件的参数设置，将过滤之后的SQL文本依次传输到消息中间件中；严格按照顺序从消息中间件中读取SQL文本；通过程序跨安全隔离网闸执行SQL文本写入目标数据库以达到数据实时同步的目的。本发明能够跨安全隔离网闸实现内外网数据库的实时同步，并且能够提高数据库实时同步的可用性和可靠性。

技术领域

本发明属于涉及信息技术领域，尤其涉及一种实现跨安全隔离网闸数据库实时同步的方法及系统。

背景技术

数据库是使用非常广泛的计算机软件，在生产环境中为了满足容灾和测试等需求，经常需部署数据库同步软件，将源库的数据实时同步到目标库。

对于数据库同步更细致的讲，是指系统中相互关联的节点能够将变化的数据进行同步，即当其中一个节点的数据改变时，另外的一个或者多个节点能够获得变化的事件，将这种变化应用到目标数据库上，保持源数据库与目标数据库的数据一致性。但是，对于通过安全隔离网闸创建的内外网上面的源数据库和目标数据库去做数据同步就比较困难。

安全隔离网闸，又名“网闸”、“物理隔离网闸”，用以实现不同安全级别网络之间的安全隔离，并提供适度可控的数据交换的软硬件系统。安全数据交换单元不同时与内外网处理单元连接，为2+1的主机架构。隔离网闸采用SU-Gap安全隔离技术，创建一个内、外网物理断开的环境。

目前市场上很多公司都通过安全隔离网闸去创建一个内、外网物理断开的环境。在内外网物理断开的情况下，去做异构数据库同步是众多业务场景必须的，也是紧要的，但从技术上来讲也是困难的，不容易处理的。

如何能够提供在内外网物理断开的情况下异构数据库仍然能够进行数据同步的解决方法，目前业界暂无较佳的解决方案。

发明内容

针对现有技术中存在的内外网物理断开的情况下异构数据库无法进行数据同步的问题，本公开实施例提出了一种实现跨安全隔离网闸数据库实时同步的方法及系统。

为了解决上述问题，本公开实施例提出了一种实现跨安全隔离网闸数据库实时同步的系统，包括：WAL日志解析模块、逻辑解码模块、增量采集模块、消息中间件模块和数据入库模块；其中

WAL日志解析模块，用于监控源数据库进程以获取WAL的变更日志，实时推送到逻辑解码模块；

逻辑解码模块，用于根据WAL变更日志，自动解析成DML语句的SQL文本，实时的发送到增量采集模块；

增量采集模块，用于根据配置文件参数设置，根据实例、模式名称、表名或表字段信息设置采集的过滤条件，实时的采集逻辑解码模块发送过来的增量SQL文本，并按参数设置规则发送到消息中间件模块；

消息中间件模块，用于按照配置规则接收SQL文本，配置多线程消费消息实例，并把消息传输到数据入库模块；其中，在消息中间件模块中写N个内存queue，具有相同key的数据都到同一个内存queue；然后对于N个线程，每个线程分别消费一个内存queue，以保证顺序性并提高吞吐量；

数据入库模块，用于配和安全隔离网闸的数据库驱动，根据驱动程序写原生的jdbc操作，并配置jdbc的事务管理，使操作在同一个事务中，并按顺序执行SQL脚本以实现数据同步。

在一些可能的实施例中，所述WAL日志解析模块通过decoder_raw工具或wal2json工具，将获取WAL的变更日志进行解析以获取DML操作记录的SQL文本，其中所述SQL文本包含所有列字段类型。

本公开实施例还提出一种利用如前任一项所述的系统实现跨安全隔离网闸数据库实时同步的方法，包括：