[发明专利]一种基于oracle数据库大数据量在线迁移的方法

说明书

技术领域

本发明涉及基于Oracle数据库的大数据迁移技术，具体的说就是一种基于oracle数据库大数据量在线迁移的方法。

背景技术

数据迁移通俗的说就是将数据从一个数据库转移到另一个数据库中。主要使用场景有：根据正式系统搭建测试环境、从内网复制到外网、数据库服务器硬件升级等。数据迁移需要考虑的因素很多，比如操作系统类别、数据库类型、版本、数据结构、数据规模、最小允许宕机时间等等。

数据泵技术是基于PL/SQL的DBMS_DATAPUMP提供的通过两个方式可以使用，一个是命令行模式，一个是基于WEB的企业级别图像界面管理工具完成数据的迁移。

GoldenGate软件提供了一个单一的平台，这个平台可以为任何企业环境实现秒一级的灾难备份。GoldenGate是一种基于于日志的结构化数据复制方式，它通过解析源数据库在线日志或归档日志获得数据的增删改变化（数据量只有日志的四分之一左右），再将这些变化应用到目标数据库，实现源数据库与目标数据库同步、双活。Oracle GoldenGate Veridata是数据比较解决方案，可识别并报告两个活动数据库之间的差异。

目前常规的数据迁移方法有:

1)  使用imp/exp工具迁移，先在源库执行直接路径导出操作，然后在目标库执行导入操作。IMP/EXP的执行速度主要受限于磁盘及网络,对大数据量迁移无法满足停机时间短问题。

2)  使用impdp/expdp工具迁移。同样在源库执行导出，在目标库执行导入。操作速度能得到极大提升。IMPDP/EXPDP速度主要受限于磁盘，而磁盘速度依然无法满足大数据量短时间迁移要求。

3)  使用表空间迁移。将表空间的元数据导出，和数据文件一起，复制到新库，然后执行元数据导入。速度相当快，但使用限制比较多，如表空间自包含问题，以及在跨平台迁移需要考虑数据编码是否需要转换，只能对特定的数据库进行数据迁移。

发明内容

本发明针对目前存在的技术问题，提出了一种基于oracle数据库大数据量在线迁移的方法。

本发明所述一种基于oracle数据库大数据量在线迁移的方法，解决上述技术问题采用的技术方案如下：该方法是使用传统工具数据泵expdp/impdp、exp/imp和容灾工具goldengate来完成大数据在线迁移，主要采用Oracle逻辑备份工具数据泵expdp/impdp完成基于时间点的原始数据迁移，同时使用oracle灾备工具goldengate进行增量数据迁移，并配合使用Oracle verdiata进行数据一致性比对，保证数据完整性；通过本发明所述方法能够实现跨平台、跨版本的数据迁移、大数据量零停机迁移。

优选的，该基于oracle数据库大数据量在线迁移的方法，通过oracle传统数据泵工具expdp/impdp将数据库某一个SCN点数据在线迁移到目标端数据库，并通过oracle goldengate单向同步技术将增量数据同步到目标端完成数据库，同时使用oracle veridata工具对源端和目标端数据进行对比保证数据完整性。

优选的，该基于oracle数据库大数据量在线迁移的方法，主要包括如下步骤：

1)  在源端和目标端部署Oracle GoldenGate应用程序，根据迁移对象配置源端捕获和投递进程组，采用oracle goldengate单向同步模式，在源端开启捕获进程和投递进程；

2)  记录源端当前数据库SCN；

3)  使用数据泵expdp工具将原始数据导出；

4)  将源端导出文件传输到目标端导入目录中；

5)  根据源端数据导出方式，目标端采用相同的模式将原始数据导入目标端数据库；

6)  目标端进行增量数据同步；

7)  在源端和目标端上部署Oracle Veridatda agent程序，agent程序用来连接数据库，使用Veridata进行源端和目标端数据比对。

本发明的一种基于oracle数据库大数据量在线迁移的方法与现有技术相比具有的有益效果是：该方法是一种可靠的、灵活的、易操作的数据库大数据迁移方法，避免了数据迁移过程停机时间过长问题，相比目前的一般迁移方法，实现了数据库零停机完成数据迁移，避免大数据迁移过程中停机时间过长问题；实现跨平台、跨版本数据迁移，避免了跨平台版本迁移过程中数据编码格式转换问题；保证了迁移过程中数据的安全性，实现了数据迁移零风险；该方法同样适用于小数据量数据库的在线迁移。