[发明专利]一种异构数据库变更实时通知方法在审
申请号: | 201810980129.1 | 申请日: | 2018-08-27 |
公开(公告)号: | CN109284312A | 公开(公告)日: | 2019-01-29 |
发明(设计)人: | 耿庆霄;杜黎言;吴晓龙;王冠男;滕晓东 | 申请(专利权)人: | 山东威尔数据股份有限公司 |
主分类号: | G06F16/2457 | 分类号: | G06F16/2457;G06F16/25 |
代理公司: | 烟台双联专利事务所(普通合伙) 37225 | 代理人: | 申国栋 |
地址: | 264003 *** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据变更 目标表 变更 异构数据库 变更数据 数据库 源表 捕获 实时通知 统一格式 数据转换程序 消息队列机制 操作记录 数据兼容 消息通过 定制化 监听 推送 删除 订阅 输出 转换 | ||
1.一种异构数据库变更实时通知方法,其特征在于通过计算机装置实现下述步骤:
(1)确定源表集和目标表集,所述源表集用于指定需要监听的源表,所述目标表集用于指定源表所对应的目标表;通过数据变更捕获机制,监听源表集,当对源表进行数据的增加或删除或改变操作时,数据变更捕获机制将DML操作记录到目标表集中对应的目标表中;
(2)通过数据转换程序,从目标表集中获取变更数据,并将变更数据转换为统一格式后存放到另行建立的变更数据库中;
(3)变更数据库中新增变更数据后,将变更消息通过消息队列机制推送给用户。
2.如权利要求1所述的异构数据库变更实时通知方法,其特征在于:所述源表集还指定源表中需要监听的字段。
3.如权利要求1所述的异构数据库变更实时通知方法,其特征在于:所述数据变更机制基于CDC或者Trigger;当异构数据库中某数据库支持CDC捕获数据变更时,所述目标表是指该数据库的CDC Schema表;如果异构数据库中某数据库不支持CDC捕获数据变更,则采用Trigger机制捕获数据变更,所述目标表为另建的用于存储DML操作记录的中间数据表。
4.如权利要求3所述的异构数据库变更实时通知方法,其特征在于:使用模块化的数据库CDC启动方案,对不属于既定业务模块的表不进行CDC功能开启。
5.如权利要求1所述的异构数据库变更实时通知方法,其特征在于:所述统一格式为JSON格式。
6.如权利要求2所述的异构数据库变更实时通知方法,其特征在于:所述消息队列机制采用订阅/通知模式。
7.如权利要求6所述的异构数据库变更实时通知方法,其特征在于:所述消息队列机制通过Exchange代理和Queue通道进行消息的推送。
8.如权利要求6所述的异构数据库变更实时通知方法,其特征在于:用户订阅时设置订阅规则,所述订阅规则指定订阅的源表及源表中的字段。
9.如权利要求8所述的异构数据库变更实时通知方法,其特征在于:消息推送前,根据订阅规则将待推送消息分组为多个Collection,推送时每个Queue只负责推送一个Collection中的数据记录,以减少消息队列压力。
10.如权利要求1至9任一所述的异构数据库变更实时通知方法,其特征在于:变更数据库中新增变更数据后,对新增的变更数据进行合并整理:如果新增变更数据中部分记录所对应的字段之间在数据库的关系模型中存在关联关系,则将相关联的记录合并为一条记录。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东威尔数据股份有限公司,未经山东威尔数据股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810980129.1/1.html,转载请声明来源钻瓜专利网。