[发明专利]数据同步方法、系统、存储器及数据同步设备

说明书

技术领域

本发明涉及互联网领域，特别是涉及互联网的数据库领域，具体为一种数据同步方法、系统、存储器及数据同步设备。

版权申明

本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。

背景技术

随着互联网的发展，现代社会已经进入信息社会，人与人之间在互联网上的交互越来越多，每家互联网公司的数据都出现了爆炸性的增长，而不管是过去、现在还是未来，数据的处理和统计分析都是一直存在的。企业的业务系统，为了能够承载这些数据，不可避免的采用了一定的策略，使得数据分布在不同的机器，不同的数据库和表中。在以一定周期对企业的数据进行分析时，传统的方案是用诸如sqoop、kettle等ETL工具将关系型数据库中的数据加载到Hadoop平台再进行分析，这些数据有增量加载的，也有全量加载的，其中全量加载的数据往往都是频繁发生更新的数据，为了加载这些数据，每天都需要花费大量的时间和资源来进行此项工作，而在加载这些数据的同时，数据依然在不断的发生变化，最终加载到hadoop的数据依然不确定是哪一个时刻的数据状态。

发明内容

为了解决上述的以及其他潜在的技术问题，本发明的实施例提供了一种数据同步方法，所述数据同步方法包括：将源库中当前时刻的数据传输到目标库，所述目标库与所述源库异构；对所述源库的增量数据操作进行同步处理并在进行所述同步处理时检测所述增量数据操作的操作时刻；检测所述操作时刻是否为预设时刻；响应于检测到所述操作时刻为所述预设时刻，建立所述目标库中的目标表的快照。

于本发明的一实施例中，所述对源库的增量数据操作进行同步处理包括：根据所述源库的日志的属性确定所述源库的增量数据操作类型；根据所述源库的增量数据操作类型将所述源库的增量数据操作转化为所述目标库中对应类型的同等操作；将所述同等操作在所述目标库中的所述目标表中执行。

于本发明的一实施例中，所述数据同步方法还包括：建立与所述目标表的结构相同的第一数据处理表，所述第一数据处理表从用于记录所述目标表中预设时刻的每条记录的额外表中读取数据。

于本发明的一实施例中，在依次对源库的增量数据操作进行同步处理之前，还包括：对所述源库的日志进行解析，以确定对所述源库的增量数据操作。

于本发明的一实施例中，所述数据同步方法还包括：建立与所述源库中源表结构相同的第二数据处理表，所述第二数据处理表从所述目标库的目标表中读取数据。

本发明的实施例提供了一种数据同步系统，所述数据同步系统包括：目标库初始化模块，用于将源库中当前时刻的数据传输到目标库，所述目标库与所述源库异构；同步模块，依次对源库的增量数据操作进行同步处理；检测模块，用于在所述同步模块进行同步处理时检测所述增量数据操作的操作时刻并检测所述操作时刻是否为预设时刻；快照模块，用于响应于检测到所述操作时刻为所述预设时刻，建立所述目标库中的目标表的快照。

于本发明的一实施例中，所述同步模块包括：获取单元，用于根据所述源库的日志的属性确定所述源库的增量数据操作类型；转化单元，用于根据所述源库的增量数据操作类型将所述源库的增量数据操作转化为所述目标库中对应类型的同等操作；同步执行单元，用于将所述同等操作在所述目标库中的所述目标表中执行。

于本发明的一实施例中，所述同步模块还包括：第一处理表单元，用于建立与所述目标表的结构相同的第一数据处理表，所述第一数据处理表从用于记录所述目标表中预设时刻的每条记录的额外表中读取数据。

于本发明的一实施例中，所述数据同步系统还包括：增量获取模块，用于对所述源库的日志进行解析，以确定对所述源库的增量数据操作。

于本发明的一实施例中，所述目标库初始化模块还包括第二处理表单元，用于建立与所述源库中源表结构相同的第二数据处理表，所述第二数据处理表从所述目标库的目标表中读取数据。

本发明的实施例提供了一种数据同步设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行所述程序指令以实现如上所述方法中的步骤。

本发明的实施例提供了一种存储器，其上存储有机器可读程序指令，该所述机器可读程序指令运行时执行如上所述的方法。

如上所述，本发明的数据同步方法、系统、存储器及数据同步设备具有以下有益效果：

本发明实施例可以实时或最大限度的保证目标库中目标表的数据与源库中源表的数据一致性，而且可以保存目标库中目标表每条记录在预设时刻的状态。