[发明专利]一种增量数据同步的方法、装置、计算机设备及存储介质

说明书

本发明公开了一种增量数据同步的方法、装置、计算机设备及存储介质，其中，增量数据同步的方法部分包括：记录目标时刻下上游业务系统的第一数据库的数据；检测第一数据库中是否存在增量标记；若检测到第一数据库中存在增量标记，则识别出增量数据；将增量数据同步至中间数据库中；将中间数据库与下游业务系统的第二数据库进行对比，获取到需要更新的增量数据；针对需要更新的增量数据设置对应的更新标记；根据更新标记对第二数据库中的数据进行同步更新。引入中间数据库，并将增量数据同步至中间数据库中，使得上游业务系统的数据与下游业务系统的数据更加一致，解决了上游业务系统的数据与下游业务系统的数据存在同步异常或者遗漏数据的问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种增量数据同步的方法、装置、计算机设备及存储介质。

背景技术

随着科技的迅猛发展，互联网技术和日常生活、商业生活的日益紧密。目前，数据仓库用来存储各个业务系统的数据，每个系统都有各自的业务逻辑，数据仓库的意义在于整合所有系统的数据。

目前，数据的加载是通过(Extract-Transform-Load，ETL)将业务系统的实现的，ETL是将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程，其中，业务系统的每一张表都会有主键数据。当上游业务系统的主键数据发生修改，进入数据仓库的表就得做修改，当上游数据发生删除操作，数据仓库的表也要做同步删除，当上游数据发生新增操作，数据仓库的表也要做同步新增，也就是说数据的提取主要会分为三块、删除、新增，修改。在增量数据同步时，特别是在处理大量数据记录，并每条记录的数据量有大的增量同步，现有的系统每次同步一张表都需要在ETL开发里进行删除、新增，修改功能的开发，处理大量数据记录，容易存在同步异常或者遗漏数据的问题。

发明内容

本发明提供一种增量数据同步的方法、装置、计算机设备及存储介质，以解决增量数据同步的问题。

一种增量数据同步的方法，应用于业务系统中，所述业务系统包括上游业务系统和下游业务系统，所述上游业务系统和所述下游业务系统为存在关联数据的系统，包括：

记录目标时刻下上游业务系统的第一数据库的数据，其中，所述目标时刻为预设同步时间区间的截止时刻；

检测所述第一数据库中是否存在增量标记，其中，所述增量标记用于指示存在数据更新的标识信息；

若检测到所述第一数据库中存在所述增量标记，则根据所述增量标记识别出增量数据；

将所述增量数据同步至中间数据库中；

将所述中间数据库与下游业务系统的第二数据库进行对比，获取到需要更新的增量数据，其中，第二数据库存储着在预设同步时间区间的起始时刻下的第一数据库中的全量数据；

针对所述需要更新的增量数据设置对应的更新标记；

根据所述更新标记对所述第二数据库中的数据进行同步更新。

一种增量数据同步的装置，包括：

记录模块，记录目标时刻下上游业务系统的第一数据库的数据，其中，所述目标时刻为预设同步时间区间的截止时刻；

检测模块，检测所述第一数据库中是否存在增量标记，其中，所述增量标记用于指示存在数据更新的标识信息；

识别模块，若检测到所述第一数据库中存在所述增量标记，则根据所述增量标记识别出增量数据；

第一同步模块，将所述增量数据同步至中间数据库中；

对比模块，将所述中间数据库与下游业务系统的第二数据库进行对比，获取到需要更新的增量数据，其中，第二数据库存储着在预设同步时间区间的起始时刻下的第一数据库中的全量数据；