[发明专利]一种基于国产环境下的异构数据库同步系统及同步方法在审
申请号: | 201911211544.1 | 申请日: | 2019-12-02 |
公开(公告)号: | CN111026808A | 公开(公告)日: | 2020-04-17 |
发明(设计)人: | 李庆银 | 申请(专利权)人: | 上海浪擎信息科技有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/21 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 201203 上海市浦东新区自由贸易*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 国产 环境 数据库 同步 系统 方法 | ||
本发明提供了一种基于国产环境下的异构数据库同步系统,包括:初始化模块、端口监听模块、任务管理模块、采集和抽取模块、文件写入模块等模块,通过读写个性化的设置,包括读写方式、频率、速率等的设置,可批量选择数据读取对象,系统自动匹配异构数据源的表结构,通过任务管理模块、采集和抽取模块选择生产端需要同步的表,完成传输配置,生产端的表将通过文件写入模块和通道传输模块同步映射到目标端,完成目标端的配置。本发明支持国内外主流的数据库,同时,满足用户内外网隔离下的数据交换,实现实时捕获数据库日志,根据用户配置的过滤映射等功能,将非国产的数据库sql语句转换为最终生成目标端需要的sql语句。
技术领域
本发明涉及数据库技术领域,具体为一种基于国产环境下的异构数据库同步系统及同步方法。
背景技术
当前互联网发展一日千里,使用者数量越来越多,大型网络应用压力越来越大,单机的处理能力有限,总会有一个最高值,分布式的环境在所难免。
由于系统是不断扩容的,建设于不同的时期,很可能会出现异构的数 据库,异构的数据库之间不可能不数据共享,否则将会出现“信息孤岛”。为此,如何灵活、有效、经济地处理这些异构数据库信息共享,数据同步的问题,成为一个颇受关注的研究方向。
现有技术中,异构数据库同步的传统方式为基于数据库自身的同构复制技术实现的,各数据库开发商在各自的数据库同构复制的基础上提出了异构数据库的复制方案,例如关系型数据库管理系统SQL server提出的出版者及预订者同步方案,关系数据库管理系统Oracle中采用多主复制和物化视图的方案实现数据同步功能,但尽管各厂商研发出的异构数据库辅助工具完善了异构数据库同步复制的功能,但复制依然方案依赖于数据库管理系统的核心技术。然而现有的技术存在由于异构数据库之间的数据同步的可靠性低的问题,不能够实时捕获数据库日志,根据用户配置的过滤映射等功能,将非国产的数据库sql语句转换为最终生成目标端需要的sql语句。
发明内容
本发明所解决的技术问题在于提供一种基于国产环境下的异构数据库同步系统及同步方法,以解决上述背景技术中的存在由于异构数据库之间的数据同步的可靠性低的问题,不能够实时捕获数据库日志,根据用户配置的过滤映射等功能,将非国产的数据库sql语句转换为最终生成目标端需要的sql语句的问题。
本发明所解决的技术问题采用以下技术方案来实现:一种基于国产环境下的异构数据库同步系统,包括:初始化模块,提供软件启动参数,包含同步数据目录、发送接收文件数据量大小、数据文件限制大小等;端口监听模块,提供进程的模块管理,包含任务启动、暂停、停止等;任务管理模块,指定数据库类型及版本的捕获,包含全量、增量捕获,数据库指定表、表名、字段的捕获及过滤等;采集和抽取模块,对原始数据及日志进行采集抽取;文件写入模块,将采集到的数据写入传输通道目录;通道传输模块,完成数据在安全通道中的传输过程;数据接收模块,接收安全通道传输的数据;数据校验模块,对数据的一致性进行校验;数据导入模块,最终数据导入目标数据库。
优选的,所述任务管理模块支持所有数据库字段类型,以及DML、DDL操作的捕获。
优选的,所述端口监听模块支持数据抽取过程中任务的启动暂停。
一种基于国产环境下的异构数据库同步方法,具体包括以下步骤:
步骤1、获取生产端和目标端数据库的配置信息详情,将生产端和目标端连接至中间同步服务器;
步骤2、通过读写个性化的设置,包括读写方式、频率、速率等的设置,可批量选择数据读取对象,系统自动匹配异构数据源的表结构,通过任务管理模块、采集和抽取模块选择生产端需要同步的表,完成传输配置,生产端的表将通过文件写入模块和通道传输模块同步映射到目标端,完成目标端的配置;
步骤3、通过端口监听模块激活整个任务,数据接收模块、数据校验模块和数据导入模块完成非国产数据库到国产数据库的同步;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海浪擎信息科技有限公司,未经上海浪擎信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911211544.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:关键点检测方法、装置、计算机设备和存储介质
- 下一篇:液晶配向装置