[发明专利]一种基于日志逻辑解析的关系型数据库数据复制方法

说明书

本发明公开了一种基于日志逻辑解析的关系型数据库数据复制方法，所述复制方法主要依托数据库实时捕获引擎ACA和数据组装实现，具体包括如下步骤：复制数据库全量文件，包括数据文件、控制文件和在此期间的数据库动态数据；采用增量复制的方法，实时捕获生产库redo日志文件的变化，传输线程将捕获到的增量数据传输到容灾服务器；容灾端接受线程将接受到的增量数据以logdata的形式写到磁盘；容灾端拼装线程将增量数据拼装成归档日志；容灾端恢复线程将归档日志注册到容灾库，从而将事务日志块反解成SQL语句集从而保证生产端和容灾端数据的一致性。

技术领域

本发明涉及数据库技术领域，具体涉及一种基于日志逻辑解析的关系型数据库数据复制方法。

背景技术

随着信息科技的快速发展，在科学研究、互联网应用等诸多应用领域，由于数据的快速增长，以及越来越多复杂的数据分析算法被用于挖掘数据中蕴含的科研价值和商业价值，新兴的大数据平台应运而生，传统的关系型数据库在大数据分析性能上已落后于这些专门用于大数据分析的大数据平台。但是关系型数据库作为较早提出的数据存储系统，发展成熟、操作方便、而且易于维护，在数据的增长过程中形成了强大的生态系统，而大数据分析平台不仅要求用户掌握相关的平台使用技能，且不兼容以关系型数据库为存储模块的系统。但系统主要依赖DataGaurd、LogMinor、DBCC LOG等数据库自带的日志工具来实现数据复制，容易出现数据丢失、复制过程中出现卡顿等问题

发明内容

本发明的目的在于提供一种基于日志逻辑解析的关系型数据库数据复制方法，以解决上述背景技术中提出的问题。为实现上述目的，本发明提供如下技术方案：一种基于日志逻辑解析的关系型数据库数据复制方法，所述复制方法主要依托数据库实时捕获引擎ACA和数据组装实现，具备以下功能：追逐式全量复制功能，在第一次部署时，且在不停止生产业务的要求下，自动的将生产端业务系统的存量数据和活动数据全部复制到备用端的数据库；实时增量复制功能，实时的将业务数据复制到容灾端的备用系统；CDP数据容错功能，将数据库恢复到符合要求的某一历史状态。容灾端容错进程采用循环写机制一一保存生产端传输来的数据。当需要容错时，容错代理接收用户选定的恢复时间或事务条件，容错进程将符合条件的一段日志数据恢复到容错数据库；故障切换功能，当生产端发生故障时，可手动或自动切换至容灾端备用系统。可以提供监控、报警、切换、回切等功能，可提供完整的业务容灾解决方案；构建生产、查询相分离的业务应用功能，实现查询统计功能，分流生产数据库的性能压力；所述复制方法具体包括如下步骤：

步骤1、复制数据库全量文件，包括数据文件、控制文件和在此期间的数据库动态数据；

步骤2、采用增量复制的方法，实时捕获生产库redo日志文件的变化，传输线程将捕获到的增量数据传输到容灾服务器；

步骤3、容灾端接受线程将接受到的增量数据以logdata的形式写到磁盘；

步骤4、容灾端拼装线程将增量数据拼装成归档日志；

步骤5、容灾端恢复线程将归档日志注册到容灾库，从而将事务日志块反解成SQL语句集从而保证生产端和容灾端数据的一致性。

优选地，所述实时增量复制功能具体实现步骤包括：生产端的事务日志实时捕获模块实时监控生产Oracle数据库的redo事务日志文件或归档日志文件，捕获其变化数据；传输控制模块从变化数据缓存池中取出数据传输至容灾服务器；容灾服务器将变化数据保存至容灾端的缓冲池中；组装模块根据Oracle数据库的特性将变化数据拼装成可恢复事务；装载线程将组装好的事务恢复到容灾数据库。

优选地，所述实时增量复制功能实时前需要保障生产、容灾数据库之间的数据相同。

优选地，所述追逐式全量复制功能具体实现步骤包括：逐式复制原理∑＝∑存量+∑变化：复制存量数据与数据库对象到容灾数据库；复制在第一步复制期间变化的事务；将第二步的复制结果保存到容灾数据库。