[发明专利]多数据源的数据同步方法、系统、设备及介质

说明书

本发明公开了一种多数据源的数据同步方法、系统、设备及介质，该数据同步方法包括预设周期内接收原始数据；基于增量数据标识和/或全量数据标识从初始数据源中获取至少一个目标数据源；依次对所有目标数据源进行数据同步并存储于同步数据库。本发明实现了耗时稳定的高效的秒级数据同步，满足了同时兼容全量型的大数据、增量型的小数据的获取和数据同步的业务需求。

技术领域

本发明涉及数据库同步技术领域，尤其涉及一种多数据源的数据同步方法、系统、设备及介质。

背景技术

随着科学技术的发展，多设备、多节点以及多系统之间的实时数据同步，互相传输的需求越来越多，需要在不同计算机网络域的不同数据源之间进行数据同步。同步数据的数据量越大，同步数据的质量要求也就越高。

在数据库领域，针对Sqlserver数据库和Mysql数据库而言，利用datax组件只能实现数据库的全量型、固化型的大量数据的同步，搬运的数据量大，但是无法支持变化型的小量数据的同步；而利用canal组件只能实现数据库的增量型、变化型的小量数据的同步，更新速度快，但是无法支持全量型的大量数据的同步。

因此，现有的多数据源的数据同步方式单一，无法同时满足增量型的小量数据和全量型的大量数据同步的业务需求。

发明内容

本发明要解决的技术问题是为了克服现有技术中数据同步方式无法兼容全量型的大数据和增量型的小数据的业务需求的缺陷，提供一种多数据源的数据同步方法、系统、设备及介质。

本发明是通过下述技术方案来解决上述技术问题：

第一方面，本发明提供一种多数据源的数据同步方法，所述数据同步方法包括：

预设周期内接收原始数据；所述原始数据包括至少一个数据库的初始数据源，所述初始数据源包括增量数据标识和全量数据标识，所述增量数据标识用于识别动态新增数据，所述全量数据标识用于识别静态历史数据；

基于所述增量数据标识和/或所述全量数据标识从所述初始数据源中获取至少一个目标数据源；

依次对所有所述目标数据源进行数据同步并存储于同步数据库。

较佳地，所述基于所述增量数据标识和/或所述全量数据标识从所述初始数据源中获取至少一个目标数据源的步骤，包括：

基于所述全量数据标识，按照第一字段长度依次在所述初始数据源中截取若干第一样本数据，并根据所述第一样本数据生成所述目标数据源。

较佳地，所述基于所述增量数据标识和/或所述全量数据标识从所述初始数据源中获取至少一个目标数据源的步骤，包括：

基于所述增量数据标识，从每个所述初始数据源中截取位于第一取数时段的数据，生成所述目标数据源。

较佳地，所述基于所述增量数据标识和/或所述全量数据标识从所述初始数据源中获取至少一个目标数据源的步骤，包括：

基于所述增量数据标识，从每个所述初始数据源中截取位于第二取数时段的数据，生成中间数据源；

按照第二字段长度依次在所述中间数据源中截取若干第二样本数据，并根据所述第二样本数据生成所述目标数据源。

较佳地，所述数据同步方法还包括：

采集多个存储数据库的配置信息；所述配置信息包括数据格式；

将同步后的所述目标数据源按照所述数据格式进行转化，以使得所述同步数据库中的数据适配于所述存储数据库。

第二方面，本发明提供一种多数据源的数据同步系统，所述数据同步系统包括：