[发明专利]数据增量同步方法、装置及终端设备

权利要求书

1.一种数据增量同步方法，其特征在于，包括：

接收源端数据库发送的多条增量日志；

从所述多条增量日志中提取DML操作涉及到的表数据，并基于所述表数据生成压缩日志，将压缩日志发送至各个目标端数据库；其中，压缩日志用于指示所述目标端数据库在判定所述压缩日志与其接收的查询请求匹配时发出第一请求，或者用于指示所述目标端数据库在接收到所述压缩日志预设时间后发出第二请求；

接收各个目标端数据库发送的第一请求或者第二请求，并根据接收到的所述第一请求或者所述第二请求向对应的目标端数据库发送对应的增量日志。

2.如权利要求1所述的数据增量同步方法，其特征在于，压缩日志携带有压缩日志编号；压缩日志用于指示所述目标端数据库从压缩日志中提取DML操作涉及到的表数据，若目标端数据库接收到的查询请求中包含所述DML操作涉及到的表数据，则判定压缩日志与其接收的查询请求匹配，并发出包含有压缩日志编号的第一请求；

相应的，根据接收到的所述第一请求向对应的目标端数据库发送对应的增量日志，包括：

根据压缩日志编号确定增量同步的起始点；

根据增量同步的起始点确定所述第一请求对应的增量日志，并将所述第一请求对应的增量日志发送至对应的目标端数据库。

3.如权利要求2所述的数据增量同步方法，其特征在于，压缩日志编号的确定方法为：

对源端数据库发送的多条增量日志中的第一条增量日志进行解析，得到第一条增量日志中增量同步的起始点；

根据第一条增量日志中增量同步的起始点生成压缩日志编号。

4.如权利要求1所述的数据增量同步方法，其特征在于，压缩日志携带有压缩日志编号，第二请求中携带有压缩日志编号；

相应的，根据接收到的第二请求向对应的目标端数据库发送对应的增量日志，包括：

根据压缩日志编号确定增量同步的起始点；

根据增量同步的起始点确定第二请求对应的增量日志，并对第二请求对应的增量日志进行压缩，将压缩后的增量日志发送至对应的目标端数据库。

5.如权利要求1所述的数据增量同步方法，其特征在于，所述从所述多条增量日志中提取DML操作涉及到的表数据，基于所述表数据生成压缩日志，包括：

从所述多条增量日志中提取出其中DML操作涉及到的所有表数据；

对所述所有表数据进行去重，基于去重后的表数据生成压缩日志。

6.如权利要求1至5任一项所述的数据增量同步方法，其特征在于，在接收到源端数据库发送的多条增量日志之后，还包括：

对所述多条增量日志进行合并，得到合并后的增量日志。

7.如权利要求6所述的数据增量同步方法，其特征在于，根据接收到的所述第一请求或者所述第二请求向对应的目标端数据库发送对应的增量日志，包括：

根据所述第一请求或者所述第二请求对增量日志进行优化处理，向对应的目标端数据库发送对应的优化处理后的增量日志；

所述优化处理指的是消除增量同步起始点至第一请求期间的相反操作、或消除增量同步起始点至第二请求期间的相反操作。

8.一种数据增量同步装置，其特征在于，包括：

数据获取模块，用于接收源端数据库发送的多条增量日志；

第一数据发送模块，用于从所述多条增量日志中提取DML操作涉及到的表数据，并基于所述表数据生成压缩日志，将压缩日志发送至各个目标端数据库；其中，压缩日志用于指示所述目标端数据库在判定所述压缩日志与其接收的查询请求匹配时发出第一请求，或者用于指示所述目标端数据库在接收到所述压缩日志预设时间后发出第二请求；

第二数据发送模块，用于接收各个目标端数据库发送的第一请求或者第二请求，并根据接收到的所述第一请求或者所述第二请求向对应的目标端数据库发送对应的增量日志。