[发明专利]基于GG同步进程的数据处理方法、装置及计算机设备

说明书

本发明公开一种基于GG同步进程的数据处理方法，包括：通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录，所述第一记录包括预置定时任务的时间信息；当接收到第一记录时，暂停所述GG同步进程，并根据GG同步进程信息及所述预置定时任务的时间信息生成第二记录；将所述第二记录插入消息到达日志表中，并执行所述预置定时任务；在所述预置定时任务执行完成后提交所述消息目标表，以恢复所述GG同步进程。本发明可解决现有技术中针对采用GG同步进程实现数据同步方案中系统耗损、数据处理压力较大且数据处理效率较低的问题，可降低同步进程中的系统损耗及数据处理压力，且可提高数据处理效率。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于GG同步进程的数据处理方法、装置及计算机设备。

背景技术

在现有采用GG(Golden Gate，一种基于日志的结构化数据复制备份软件)同步进程实现数据同步的方案中，比如将源数据库中的数据同步到操作数据存储(ODS，Operational Data Store)数据库中，整个同步过程不能暂停，源数据库中只要有数据变化就会被同步到ODS数据库中，因此，ODS数据库中实际获取到的数据往往包含不需要的数据。例如，ODS数据库的跑批任务是在每天2点获取源数据库中截至当天0点的交易数据以做后续加工处理，但在上述采用GG同步的过程中，通常是存在数据变化就会被同步，因此ODS数据库在每天2点获取到的数据实际上也包含了0点至2点之间的数据。

由此，一方面，由于上述同步操作过程为不间断的进行，因此系统耗损较大；另一方面，ODS数据库中实际获取到的数据包括多余数据，不但增加了后续数据处理的压力，还会影响后续数据处理效率。

相关技术中针对采用GG同步进程实现数据同步方案中系统耗损、数据处理压力较大且数据处理效率较低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的在于提供一种基于GG同步进程的数据处理方法、装置、计算机设备及可读存储介质，进而在一定程度上克服上述现有技术中存在的问题，可降低同步进程中的系统损耗及数据处理压力，并可提高数据处理效率。

本发明是通过下述技术方案来解决上述技术问题：

根据本发明的一个方面，提供了一种基于GG同步进程的数据处理方法，包括如下步骤：

S01，通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录，所述第一记录包括预置定时任务的时间信息；

S02，当接收到第一记录时，暂停所述GG同步进程，并根据GG同步进程信息及所述预置定时任务的时间信息生成第二记录；

S03，将所述第二记录插入消息到达日志表中，并执行所述预置定时任务；

S04，在所述预置定时任务执行完成后提交所述消息目标表，以恢复所述GG同步进程。

进一步的，所述方法还包括：预先根据所述预置定时任务的时间信息生成第一记录，并将所述第一记录存储于源数据库的消息源表中；

在S01通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录之前，还包括：

启动GG同步进程；

通过所述消息源表获取所述第一记录；

将所述第一记录基于所述GG同步进程同步到目标数据库的消息目标表中。

进一步的，在S01通过消息目标表接收基于GG同步进程从源数据库同步来的第一记录之后，还包括：

启动用于实现GG同步进程的暂停及恢复功能的触发器；

S02当接收到第一记录时，暂停所述GG同步进程，并根据GG同步进程信息及所述预置定时任务的时间信息生成第二记录，包括：