[发明专利]数据同步方法、装置、计算设备及计算机存储介质

说明书

本发明公开了一种数据同步方法、装置、计算设备及计算机存储介质，其中，方法包括：根据接收到的用于启动数据同步操作的同步触发指令，查询预先记录相对应的同步状态信息；根据同步状态信息确定源端的偏移信息以及目标端的写入信息；根据源端的偏移信息以及目标端的写入信息，向目标端同步数据，在同步过程中更新与数据同步操作相对应的同步状态信息。本发明方案，通过记录数据同步操作的同步状态信息，并在再次启动该数据同步操作时，根据该同步状态信息从源端向目标端同步数据，使本次数据同步操作过程中同步的数据与记录同步状态信息的时刻时已同步的数据不会发生重复，同时也不会发生数据遗漏，进而确保了同步数据的准确性。

技术领域

本发明涉及数据同步技术领域，具体涉及一种数据同步方法、装置、计算设备及计算机存储介质。

背景技术

在如今的信息化时代，大量的业务数据时刻都在产生；与此同时，随着大量业务数据的产生，数据的存储和处理也面临着巨大的考验。而为了便于后续对这些业务使用或处理，需要将业务数据从初始的消息队列同步至另一个消息队列或者文件系统中。

现有技术中，通常利用scribe、flume等同步框架提供的数据同步功能来实现上述同步。但是，这种传统的同步方案存下如下缺陷：若数据同步过程中发生中断，则当重启以继续进行数据同步时容易出现数据重复或丢失的问题，不能保证同步数据的准确性，进一步影响同步数据的后续使用或处理。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据同步方法、装置、计算设备及计算机存储介质。

根据本发明的一个方面，提供了一种数据同步方法，包括：

根据接收到的用于启动数据同步操作的同步触发指令，查询预先记录的与所述数据同步操作相对应的同步状态信息；

根据所述同步状态信息确定源端的偏移信息以及目标端的写入信息；

根据所述源端的偏移信息以及目标端的写入信息，从所述源端向所述目标端同步数据，在同步过程中更新所述与所述数据同步操作相对应的同步状态信息。

根据本发明的另一方面，提供了一种数据同步装置，包括：

查询模块，适于根据接收到的用于启动数据同步操作的同步触发指令，查询预先记录的与所述数据同步操作相对应的同步状态信息；

第一确定模块，适于根据所述同步状态信息确定源端的偏移信息以及目标端的写入信息；

同步模块，适于根据所述源端的偏移信息以及目标端的写入信息，从所述源端向所述目标端同步数据；

更新模块，适于在同步过程中更新所述与所述数据同步操作相对应的同步状态信息。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述数据同步方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述数据同步方法对应的操作。