[发明专利]一种数据复制进程延时的处理方法和系统

说明书

本发明公开了一种数据复制进程延时的处理方法和系统，该方法通过监测数据复制进程的延时时间；若延时时间超过预设时间阈值，则遍历数据复制进程，统计数据复制进程中各个表的变更次数；根据各个表的变更次数，从各个表中采集变更数据作为各个表的样本数据；对各个表的样本数据进行分析，确定各个表的权重比以及各个表的映射表频率；根据各个表的权重比以及各个表的映射表频率，确定进程重构值；按照进程重构值，对数据复制进程进行重构配置处理。本发明不依赖于维护人员的经验，通过对数据复制进程的自适应判断，在数据复制进程延时的情况下自动进行进程重构，缩短了进程重构所需的时间。

技术领域

本发明涉及通信技术领域，具体涉及一种数据复制进程延时的处理方法和系统。

背景技术

GoldenGate软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，能够实现大量交易数据的实时捕捉，变换和投递，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。它可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒级的实时复制，从而可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾等多个场景下应用。

但在OGG(Oracle GoldenGate)日常维护的过程中有经常遇到OGG复制进程(replicate进程)延时的情况，replicate进程延时代表数据同步出现滞后，目标库的数据不完整，如果目标库作为一个在线分析处理(On-Line Analysis Processing，OLAP)库，那相对应的业务功能就会受到很大的影响。针对以上的问题，目前业界的解决方案主要为：优化目标库表，加快SQL入库速度，或者通过分拆replicate进程，将一个replicate进程里的表拆分出来到新建replicate进程，进行同步。

然而现有技术存在如下缺点：需要通过手工判断进程中各表的更新频率和各进程当前执行SQL，完全依赖于技术人员对数据库内表数据以及结构的了解程度和技术水平，等到发现延时，再对延时进程进行分析，对于OLAP类系统，影响数据的一致性，并且，手工判断进程的延时问题以及对表进行拆分，对于急需改善性能的情况下的进程拆分，效率低下。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据复制进程延时的处理方法和系统。

根据本发明的一个方面，提供了一种数据复制进程延时的处理方法，包括以下步骤：

监测数据复制进程的延时时间；

若所述延时时间超过预设时间阈值，则遍历所述数据复制进程，统计所述数据复制进程中各个表的变更次数；

根据各个表的变更次数，从各个表中采集变更数据作为各个表的样本数据；

对各个表的样本数据进行分析，确定各个表的权重比以及各个表的映射表频率；

根据各个表的权重比以及各个表的映射表频率，确定进程重构值；

按照所述进程重构值，对所述数据复制进程进行重构配置处理。

根据本发明的另一方面，提供了一种数据复制进程延时的处理系统，包括：

监控模块，用于监测数据复制进程的延时时间；

统计模块，用于若所述延时时间超过预设时间阈值，则遍历所述数据复制进程，统计所述数据复制进程中各个表的变更次数；

样本数据采集模块，用于根据各个表的变更次数，从各个表中采集变更数据作为各个表的样本数据；

样本数据分析模块，用于对各个表的样本数据进行分析，确定各个表的权重比以及各个表的映射表频率；