[发明专利]数据同步方法、系统及计算机可读存储介质

说明书

本申请公开了一种数据同步方法、装置及计算机可读存储介质，属于数据同步校验领域。所述方法包括：从第一设备处获取第一元数据记录表，从第二设备处获取第二元数据记录表。根据第一元数据记录表和第一元数据记录表，确定第一元数据记录表的表结构与第二元数据记录表的表结构之间的差异类型。在差异类型为第一差异类型时，执行数据同步操作；在差异类型为第二差异类型时，不执行数据同步操作，其中，数据同步操作为将第一元数据记录表中第一数据同步至第二元数据记录表。本申请通过数据同步前的校验，判断第一设备和第二设备中元数据的差异类型，根据差异类型，能够及时识别出元数据的不同，从而可以及时的进行提前预警及反馈处理。

技术领域

本申请涉及数据同步领域，特别涉及一种数据同步方法、装置及计算机可读存储介质。

背景技术

数据已经成为企业非常依赖的重要资产，数据质量的好坏直接关系到信息的精准度，而数据校验是实现数据质量重要的一环。目前大多数公司在数据同步校验方面都有适合自己业务的方案。当业务版本更替较快时，在同步数据的时候可能存在由于业务数据变更或沟通不及时导致同步失败或者所同步的数据不完整，从而导致下游数据在使用时候无法及时获得最新的业务数据。

发明内容

本申请提供了一种数据同步方法、装置及计算机可读存储介质，当源数据端的元数据发生变化时，能够及时识别出源数据端与目标端的元数据的不同，并根据差异类型确定是否进行数据同步。

所述技术方案如下：

第一方面，提供了一种数据同步方法，所述方法包括：从第一设备处获取第一元数据记录表，以及从第二设备处获取第二元数据记录表。根据所述第一元数据记录表和所述第二元数据记录表，确定所述第一元数据记录表与所述第二元数据记录表的表结构的差异类型。在所述差异类型为第一差异类型时，执行数据同步操作。在所述差异类型为第二差异类型时，不执行数据同步操作。其中，所述数据同步操作为将所述第一元数据记录表中第一数据同步至所述第二元数据记录表。

本申请中，在第一设备的元数据同步至第二设备之前，进行数据校验判断，即先确定第一元数据记录表和第二元数据记录表是否一致，在第一元数据记录表和第二元数据记录表不一致的情况下，根据两个数据记录表的差异类型，发出告警信息，以提示第一元数据记录表和第二元数据记录表不一致，使用户可以通过该告警信息及时了解第一设备和第二设备中的元数据不同。另外，本申请根据差异类型，确定是否进行同步数据。这样差异类型不同，使得第一设备所执行的动作也不同。在第一元数据记录表中缺少字段时，可以不执行数据同步，这样使系统不再浪费资源进行无用的操作。

本申请一种可能的实现方式中，所述第一元数据记录表的表结构与所述第二元数据记录表的表结构之间的差异类型，包括：

若所述第一元数据记录表包括所述第二元数据记录表，表征所述第一元数据记录表的表结构和所述第二元数据记录表的表结构一致，或者所述第一元数据记录表的表结构中相对于所述第二元数据记录表的表结构中存在增加字段，且所述差异类型为第一差异类型；若所述第一元数据记录表不包括所述第二元数据记录表，则表征所述第一元数据记录表相对于所述第二元数据记录表存在修改和/或删除的字段，且所述差异类型为第二差异类型。

本申请中，通过判断第一元数据记录表的表结构与第二元数据记录表的表结构之间的差异类型，可以得到两类表结构的差异，根据不同的差异类型方便进行下一步的针对性处理。

可选地，所述差异类型为所述第一差异类型，且所述第一元数据记录表的表结构中相对于所述第二元数据记录表的表结构中存在增加字段时，发出第一监控告警，所述第一监控告警用于提示所述第一元数据记录表相对于所述第二元数据记录表存在增加字段的情况；所述差异类型为所述第二差异类型时，发出第二监控告警，所述第二监控告警用于提示所述第一元数据记录表相对于所述第二元数据记录表存在修改和/或删除字段的情况。

本申请中，根据不同的差异类型发出相对应的监控告警，方便开发人员根据不同差异类型进行处理。