[发明专利]数据同步的方法、装置和终端设备

说明书

本发明实施例适用于数据处理技术领域，提供了一种数据同步的方法、装置和终端设备，所述方法包括：采用预置的OGG工具，构建源数据库与目标数据库之间的数据链路；基于所述数据链路，生成源数据库与目标数据库之间的多个数据传输通道；当检测到针对源数据库中任一数据的操作行为时，将所述操作行为解析为字节流，所述字节流中携带有所述操作行为的时间信息；通过多个数据传输通道，将字节流传输至目标数据库，所述目标数据库用于将字节流编译为操作行为，并基于时间信息在目标数据库中重演所述操作行为，以实现数据同步。本实施例解决了大数据库的数据一致性处理时，受计算机资源影响较大、时效性较低的问题。

技术领域

本发明属于数据处理技术领域，特别是涉及一种数据同步的方法、一种数据同步的装置、一种终端设备及一种计算机可读存储介质。

背景技术

在分布式存储领域，为了增加系统的高可用性，经常将同一份数据存储多个副本。但是此做法也带来了数据一致性的问题。数据一致性是指事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态。保证数据一致性可以在事务完成时，使所有数据都具有一致的状态。

现有技术中，大数据领域的数据一致性处理多采用批量处理、多线程拉取的同步方式实现。例如，对于一个sqoop(一种批量数据迁移工具)进程，可以分成多线程拉取数据。但是，多线程批量拉取数据受链路稳定性的影响较大，容易因为计算机资源问题出现进程阻塞、甚至异常退出等问题。并且，批量拉取数据的时效性较低，当天存放到业务系统数据库的数据只能按天增量拉取，在明天才会被同步到大数据数据库，容易导致大数据侧业务分析处理的滞后。

发明内容

有鉴于此，本发明实施例提供了一种数据同步的方法、装置和终端设备，以解决现有技术中大数据领域的数据同步受计算机资源影响较大、时效性较低，容易出现进程阻塞、甚至异常退出等情况，同步后的数据往往只能第二日才可正常使用的问题。

本发明实施例的第一方面提供了一种数据同步的方法，包括：

采用预置的OGG工具，构建源数据库与目标数据库之间的数据链路；

基于所述数据链路，生成所述源数据库与所述目标数据库之间的多个数据传输通道；

当检测到针对所述源数据库中任一数据的操作行为时，将所述操作行为解析为字节流，所述字节流中携带有所述操作行为的时间信息；

通过所述多个数据传输通道，将所述字节流传输至所述目标数据库，所述目标数据库用于将所述字节流编译为所述操作行为，并基于所述时间信息在所述目标数据库中重演所述操作行为，以实现数据同步。

本发明实施例的第二方面提供了一种数据同步的装置，包括：

构建模块，用于采用预置的OGG工具，构建源数据库与目标数据库之间的数据链路；

生成模块，用于基于所述数据链路，生成所述源数据库与所述目标数据库之间的多个数据传输通道；

解析模块，用于当检测到针对所述源数据库中任一数据的操作行为时，将所述操作行为解析为字节流，所述字节流中携带有所述操作行为的时间信息；

同步模块，用于通过所述多个数据传输通道，将所述字节流传输至所述目标数据库，所述目标数据库用于将所述字节流编译为所述操作行为，并基于所述时间信息在所述目标数据库中重演所述操作行为，以实现数据同步。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述数据同步的方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面所述数据同步的方法的步骤。