[发明专利]多数据源的数据同步方法、系统、设备及介质

权利要求书

1.一种多数据源的数据同步方法，其特征在于，所述数据同步方法包括：

预设周期内接收原始数据；所述原始数据包括至少一个数据库的初始数据源，所述初始数据源包括增量数据标识和全量数据标识，所述增量数据标识用于识别动态新增数据，所述全量数据标识用于识别静态历史数据；

基于所述增量数据标识和/或所述全量数据标识从所述初始数据源中获取至少一个目标数据源；

依次对所有所述目标数据源进行数据同步并存储于同步数据库。

2.如权利要求1所述的多数据源的数据同步方法，其特征在于，所述基于所述增量数据标识和/或所述全量数据标识从所述初始数据源中获取至少一个目标数据源的步骤，包括：

基于所述全量数据标识，按照第一字段长度依次在所述初始数据源中截取若干第一样本数据，并根据所述第一样本数据生成所述目标数据源。

3.如权利要求1所述的多数据源的数据同步方法，其特征在于，所述基于所述增量数据标识和/或所述全量数据标识从所述初始数据源中获取至少一个目标数据源的步骤，包括：

基于所述增量数据标识，从每个所述初始数据源中截取位于第一取数时段的数据，生成所述目标数据源。

4.如权利要求1所述的多数据源的数据同步方法，其特征在于，所述基于所述增量数据标识和/或所述全量数据标识从所述初始数据源中获取至少一个目标数据源的步骤，包括：

基于所述增量数据标识，从每个所述初始数据源中截取位于第二取数时段的数据，生成中间数据源；

按照第二字段长度依次在所述中间数据源中截取若干第二样本数据，并根据所述第二样本数据生成所述目标数据源。

5.如权利要求1所述的多数据源的数据同步方法，其特征在于，所述数据同步方法还包括：

采集多个存储数据库的配置信息；所述配置信息包括数据格式；

将同步后的所述目标数据源按照所述数据格式进行转化，以使得所述同步数据库中的数据适配于所述存储数据库。

6.一种多数据源的数据同步系统，其特征在于，所述数据同步系统包括：

接收模块，用于预设周期内接收原始数据；所述原始数据包括至少一个数据库的初始数据源，所述初始数据源包括增量数据标识和全量数据标识，所述增量数据标识用于识别动态新增数据，所述全量数据标识用于识别静态历史数据；

获取模块，用于基于所述增量数据标识和/或所述全量数据标识从所述初始数据源中获取至少一个目标数据源；

同步模块，用于依次对所有所述目标数据源进行数据同步并存储于同步数据库。

7.如权利要求6所述的多数据源的数据同步系统，其特征在于，所述获取模块，包括：

第一取数单元，用于基于所述全量数据标识，按照第一字段长度依次在所述初始数据源中截取若干第一样本数据，并根据所述第一样本数据生成所述目标数据源。

8.如权利要求6所述的多数据源的数据同步系统，其特征在于，所述获取模块，包括：

第二取数单元，用于基于所述增量数据标识，从每个所述初始数据源中截取位于第一取数时段的数据，生成所述目标数据源。

9.如权利要求6所述的多数据源的数据同步系统，其特征在于，所述获取模块，包括：

第三取数单元，用于基于所述增量数据标识，从每个所述初始数据源中截取位于第二取数时段的数据，生成中间数据源；

第四取数单元，用于按照第二字段长度依次在所述中间数据源中截取若干第二样本数据，并根据所述第二样本数据生成所述目标数据源。

10.如权利要求6所述的多数据源的数据同步系统，其特征在于，所述数据同步系统还包括：

采集模块，用于采集多个存储数据库的配置信息；所述配置信息包括数据格式；

转化模块，用于将同步后的所述目标数据源按照所述数据格式进行转化，以使得所述同步数据库中的数据适配于所述存储数据库。