[发明专利]一种数据同步方法、装置、电子设备及介质

权利要求书

1.一种数据同步方法，其特征在于，包括：

读取源数据库的源端数据表中的数据，得到待同步数据集；

针对所述待同步数据集中的每条数据，检测该数据的指定字段是否符合所述指定字段对应的检核规则，其中，所述检核规则是预先设置的；

若不符合所述指定字段对应的检核规则，则确定该数据为异常数据；

确定所述待同步数据集中的异常数据数量；

根据所述异常数据数量，对所述待同步数据集进行同步处理操作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述异常数据数量，对所述待同步数据集进行同步处理操作，包括：

若所述异常数据数量小于或者等于告警阈值，则将所述待同步数据集同步至目标数据库中。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述异常数据数量，对所述待同步数据集进行同步处理操作，包括：

若所述异常数据小于或者等于告警阈值，则对所述异常数据进行处理，以更新待同步数据集，得到更新后的待同步数据集；

将更新后的待同步数据集同步至目标数据库中。

4.根据权利要求1所述的方法，其特征在于，所述检核规则通过以下步骤设置得到：

展示用于编辑检核规则的设置页面；

接收用户在所述设置页面的编辑信息，所述编辑信息用于生成所述检核规则；

通过预设交互接口，获取生成的所述检核规则，以执行所述针对所述待同步数据集中的每条数据，检测该数据的指定字段是否符合所述指定字段对应的检核规则的步骤。

5.根据权利要求3所述的方法，其特征在于，所述对所述异常数据进行处理，包括：

若所述异常数据的第一指定字段存在乱码字符，则将所述乱码字符替换为第一预设字符，所述第一指定字段为字符串类型的字段；和/或，

若所述异常数据的第二指定字段存在转义字符，则将所述转义字符替换为第二预设字符，所述第二指定字段为字符串类型的字段；和/或，

若所述异常数据的第三指定字段的长度大于预设长度阈值，则过滤所述异常数据，所述第三指定字段为字符串类型、整型或浮点数类型的字段；和/或，

若所述异常数据的第四指定字段包括除指定形式的内容以外的内容，则过滤所述异常数据，所述第四指定字段为字符串类型的字段；和/或，

若所述异常数据的第五指定字段不符合预定义格式，则过滤所述异常数据，所述第五指定字段为具有所述预定义格式的字段。

6.根据权利要求3所述的方法，其特征在于，在对所述异常数据进行处理之后，所述方法还包括：

记录所述异常数据的异常明细信息，所述异常明细信息包括所述异常数据的异常字段内容和各异常字段内容的异常原因。

7.根据权利要求6所述的方法，其特征在于，在得到更新后的待同步数据集之后，所述方法还包括：

接收检核结果查询请求；

响应于所述检核结果查询请求，反馈所述待同步数据集中的异常数据以及各异常数据的异常明细信息。

8.根据权利要求1所述的方法，其特征在于，在确定所述待同步数据集中的异常数据量之后，所述方法还包括：

若所述异常数据数量大于所述告警阈值，则终止数据同步过程，基于指定告警方式向指定告警对象发送告警消息。

9.一种数据同步装置，其特征在于，包括：

获取模块，用于读取源数据库的源端数据表中的数据，得到待同步数据集；

检核模块，用于针对所述待同步数据集中的每条数据，检测该数据的指定字段是否符合所述指定字段对应的检核规则，其中，所述检核规则是预先设置的；若不符合所述指定字段对应的检核规则，则确定该数据为异常数据；

确定模块，用于确定所述待同步数据集中的异常数据数量；

同步模块，用于根据所述异常数据数量，对所述待同步数据集进行同步处理操作。