[发明专利]一种数据同步方法、装置、电子设备及介质

说明书

本发明实施例提供了一种数据同步方法、装置、电子设备及介质，涉及云计算领域，尤其涉及数据处理技术领域。本发明实施例包括：读取源数据库的源端数据表中的数据，得到待同步数据集，针对待同步数据集中的每条数据，检测该数据的指定字段是否符合指定字段对应的检核规则，若不符合指定字段对应的检核规则，则确定该数据为异常数据。确定源端数据表中的异常数据数量，根据该异常数据数量，对待同步数据集进行同步处理操作。可以避免过多异常数据被同步，避免传输资源以及存储资源的浪费。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据同步方法、装置、电子设备及介质。

背景技术

相关技术中，异构数据源同步平台可以实现关系型数据库(比如MySQL、Oracle等)、分布式文件系统(Hadoop Distributed File System，HDFS)、Hive、Hbase、文件传输协议(File Transfer Protocol，FTP)等异构数据源之间稳定高效的数据同步。

现有的数据同步方法为，数据同步平台提供一套抽象化的数据抽取插件和数据写入插件，并基于此设计一套简化版的中间数据传输格式。对于任意结构化、半结构化的数据源，均可使用数据抽取插件从一个数据源中抽取数据，采用上述中间数据传输格式对数据进行传输，并由数据写入插件将抽取的数据写入另一个数据源。

然而，在数据同步过程中，数据同步平台只能将一个数据源中需要被同步的所有数据同步至另一个数据源，无法发现被同步的数据中的异常数据，若被同步的数据中存在较多的异常数据，将造成传输资源以及存储资源的浪费。

发明内容

本发明实施例的目的在于提供一种数据同步方法、装置、电子设备及介质，以避免过多异常数据被同步，避免传输资源以及存储资源的浪费。具体技术方案如下：

第一方面，本申请实施例提供一种数据同步方法，包括：

读取源数据库的源端数据表中的数据，得到待同步数据集；

针对所述待同步数据集中的每条数据，检测该数据的指定字段是否符合所述指定字段对应的检核规则，其中，所述检核规则是预先设置的；

若不符合所述指定字段对应的检核规则，则确定该数据为异常数据；

确定所述待同步数据集中的异常数据数量；

根据所述异常数据数量，对所述待同步数据集进行同步处理操作。

在一种可能的实现方式中，所述根据所述异常数据数量，对所述待同步数据集进行同步处理操作，包括：

若所述异常数据数量小于或者等于告警阈值，则将所述待同步数据集同步至目标数据库中。

在一种可能的实现方式中，所述根据所述异常数据数量，对所述待同步数据集进行同步处理操作，包括：

若所述异常数据小于或者等于告警阈值，则对所述异常数据进行处理，以更新待同步数据集，得到更新后的待同步数据集；

将更新后的待同步数据集同步至目标数据库中。

在一种可能的实现方式中，所述检核规则通过以下步骤设置得到：

展示用于编辑检核规则的设置页面；

接收用户在所述设置页面的编辑信息，所述编辑信息用于生成所述检核规则；

通过预设交互接口，获取生成的所述检核规则，以执行所述针对所述待同步数据集中的每条数据，检测该数据的指定字段是否符合所述指定字段对应的检核规则的步骤。

在一种可能的实现方式中，所述对所述异常数据进行处理，包括：