[发明专利]一种异构数据库变更实时通知方法

说明书

本发明公开了一种异构数据库变更实时通知方法，首先确定源表集和目标表集，通过数据变更捕获机制，监听源表集，当对源表进行数据的增加或删除或改变操作时，数据变更捕获机制将DML操作记录到目标表集中对应的目标表中；然后通过数据转换程序，从目标表集中获取变更数据，并将变更数据转换为统一格式后存放到另行建立的变更数据库中；当变更数据库中新增变更数据后，将变更消息通过消息队列机制推送给用户。本发明实现了异构数据库的数据变更捕获和推送。使用者不需要关心不同版本的数据兼容问题，本发明可以处理不同数据库不同版本的数据，统一格式对外输出，使用者可对所有数据库的数据变更进行定制化订阅。

技术领域

本发明涉及一种监听异构数据库中数据变更情况并实时推送的方法。

背景技术

实际应用中，用户及运维者具有实时获取数据库变更通知的需求，而数据库变更捕获，是实现数据库变更通知的基础。

目前，数据库变更捕获主要有两种实现方式：一种多存在于OLAP（联机分析处理）和ETL（数据仓库技术）开发中，进行增量的抽取，另一种是基于CDC（数据变更捕获），是在数据库级别实现的增量抽取解决方案。

在CDC出现之前，基于OLAP和ETL开的数据增量抽取方法可分为：

一、时间戳：

在数据库表中增加时间戳字段，数据库中发生的所有CUD（增改删）操作，均同步修改时间戳，当进行数据抽取时，通过对比上次抽取时间与时间戳字段的一致性来决定抽取哪些数据。

部分数据库不支持时间戳的自动更新，即表中数据发生变更时，数据库不能自主更新时间戳，需要业务逻辑进行相对应的处理。

该方式的优点是：时间戳性能较好，结构清晰，实现简单，可以满足数据的递增加载。缺点在于：在表结构的层级对数据变更捕获进行侵入，耦合性很高，如果对生产项目增加时间戳字段，需要耦合的业务代码众多。另外对于不支持自动更新时间戳的数据库，还需处理CUD业务逻辑，手动处理时间戳，易产生错误。并且时间戳无法捕捉到delete操作，在数据准确性上受到一定影响。

二、触发器：

在要捕获的数据库表中，建立触发器，一般根据需求，对新增/修改/删除三种操作创建，同时根据业务需求判断是否需要创建临时表。

每当源表发生新增/修改/删除数据变更时，触发器会将对应的操作存入到临时表中，通知线程会从临时表中抽取数据，临时表中抽取过的数据会被标记或者删除。

该方式的优点在于：触发器性能高，实时性好，处理规则简单，不需要修改源表结构，可以实现源表的变更捕获。缺点在于：要求对源表建立触发器，对业务系统有一定的影响，破坏数据库业务逻辑，容易对源数据库构成威胁，同时增加维护的复杂程度。

三、全表对比方式

全表对比的方式是借助ETL工具事先为要抽取的表建立一个结构类似的临时表，该临时表记录源表主键以及根据所有字段的数据计算出来，每次进行数据抽取前，对源表和临时表进行对比，如有不同，进行增删改操作。

该方式的优点在于：对已有源表结构不产生影响，不需要修改业务逻辑程序，所有抽取规则由ETL完成，管理维护统一，可以实现数据的递增加载。缺点在于：对比过程较复杂，设计也较为复杂，速度较慢。与触发器和时间戳的方式不同，全表对比方式是被动的进行全表数据的比对，性能较差。当表中没有主键或唯一列、且含有重复记录时，全表对比方式的准确性要单独处理。

四、日志表方式

在业务系统中添加系统日志表，当业务数据发生变化时，更新维护日志表内容，当作ETL 加载时，通过读日志表数据决定加载那些数据及如何加载。