[发明专利]数据增量同步方法、装置及终端设备

说明书

本发明提供了一种数据增量同步方法、装置及终端设备，该方法包括：接收源端数据库发送的多条增量日志；从多条增量日志中提取DML操作涉及到的表数据，并基于表数据生成压缩日志，将压缩日志发送至各个目标端数据库；接收各个目标端数据库发送的第一请求或者第二请求，并根据接收到的第一请求或者第二请求确定各个目标端数据库对应的增量日志；基于各个目标端数据库与源端数据库之间的预设映射关系对各个目标端数据库对应的增量日志进行转换，将转换后的增量日志发送至各个目标端数据库。本发明能够提高数据增量同步的效率。

技术领域

本发明属于数据同步技术领域，更具体地说，是涉及一种数据增量同步方法、装置及终端设备。

背景技术

信息技术的发展使得数据采集、存储和处理任务与日俱增，基于网络的数据共享已经成为获取数据资源不可或缺的方式。

为了更好地实现数据共享需要对共享数据进行同步，例如，为了更好的实现各个民政系统之间的数据共享，则需要在各个民政系统之间进行数据同步。然而民政系统涉及到的数据量巨大，并且各个民政系统的数据表结构存在差异，在此基础上全国各地的民政系统均进行数据同步会导致带宽压力剧增，降低数据增量同步的效率。

发明内容

本发明的目的在于提供一种数据增量同步方法、装置及终端设备，以提高数据增量同步的效率。

本发明实施例的第一方面，提供了一种数据增量同步方法，包括：

接收源端数据库发送的多条增量日志；

从所述多条增量日志中提取DML操作涉及到的表数据，并基于所述表数据生成压缩日志，将压缩日志发送至各个目标端数据库；其中，压缩日志用于指示所述目标端数据库在判定所述压缩日志与其接收的查询请求匹配时发出第一请求，或者用于指示所述目标端数据库在接收到所述压缩日志预设时间后发出第二请求；

接收各个目标端数据库发送的第一请求或者第二请求，并根据接收到的所述第一请求或者所述第二请求确定各个目标端数据库对应的增量日志；

基于各个目标端数据库与源端数据库之间的预设映射关系对各个目标端数据库对应的增量日志进行转换，将转换后的增量日志发送至各个目标端数据库。

在一种可能的实现方式中，所述基于各个目标端数据库与源端数据库之间的预设映射关系对各个目标端数据库对应的增量日志进行转换，包括：

基于预存的源端数据库的日志解析文件对各个目标端数据库对应的增量日志进行解析，得到各个目标端数据库对应的表数据以及表数据的操作类型；

基于预存的目标端数据库对应的日志生成文件、各个目标端数据库对应的表数据以及表数据的操作类型生成各个目标端数据库对应的转换后的增量日志。

在一种可能的实现方式中，压缩日志携带有压缩日志编号；压缩日志用于指示所述目标端数据库从压缩日志中提取DML操作涉及到的表数据，若目标端数据库接收到的查询请求中包含所述DML操作涉及到的表数据，则判定压缩日志与其接收的查询请求匹配，并发出包含有压缩日志编号的第一请求；

相应的，在接收到第一请求时向对应的目标端数据库发送转换后的增量日志的方法为：

根据压缩日志编号确定增量同步的起始点；

根据增量同步的起始点确定第一请求对应的增量日志；

基于对应的目标端数据库与源端数据库之间的预设映射关系对第一请求对应的增量日志进行转换，将转换后的增量日志发送至对应的目标端数据库。

在一种可能的实现方式中，压缩日志编号的确定方法为：

对源端数据库发送的多条增量日志中的第一条增量日志进行解析，得到第一条增量日志中增量同步的起始点；