[发明专利]大数据迁移方法、装置、设备及存储介质

权利要求书

1.一种大数据迁移方法，其特征在于，所述大数据迁移方法包括：

获取源数据在第一数据库中的更新时间，根据所述更新时间将所述源数据划分为变化源数据和不变化源数据，包括：

在预设时间段内监测所述源数据的更新时间是否发生变化时，将发生变化的所述源数据划分为所述变化源数据，将未发生变化的所述源数据划分为所述不变化源数据；

并生成变化源数据表和不变化源数据表；

配置所述变化源数据表和所述不变化源数据表的表任务信息，其中：

配置所述不变化源数据表的表任务信息，包括：

设置第一表配置文件，所述第一表配置文件包括第一源表配置文件和第一目标表配置文件；

通过所述第一源表配置文件对所述不变化源数据在表任务中配置不变化源数据表信息；

通过所述第一目标表配置文件对所述不变化源数据在表任务中配置迁移至第二数据库中的目标数据表信息；

配置所述变化源数据表的表任务信息，包括：

设置第二表配置文件，所述第二表配置文件包括第二源表配置文件和第二目标表配置文件；

通过所述第二源表配置文件对所述变化源数据在表任务中配置变化源数据表信息；

通过所述第二目标表配置文件对所述变化源数据在表任务中配置同步至所述第二数据库中的目标数据表信息；

根据所述表任务信息将所述不变化源数据表中的不变化源数据迁移至第二数据库；

获取所述变化源数据表中的变化源数据的更新数据，所述更新数据是指变化源数据在变化源数据表中随时间变化的数据，根据所述表任务信息将所述更新数据同步至所述第二数据库，包括：

获取所述变化源数据在所述变化源数据表中最后一次执行更新的更新位置，对所述更新位置进行监控，当监测到所述变化源数据在所述更新位置有更新的变化源数据时，根据所述表任务信息将更新的变化源数据同步至所述第二数据库，其中，当变化源数据表中的变化源数据更新一次，则同步一次；

获取所述变化源数据表中变化源数据的数据量值与所述第二数据库中更新数据的数据量值，当所述变化源数据的数据量值与所述更新数据的数据量值一致时，判定所述变化源数据同步至所述第二数据库成功；

当变化源数据的数据量值与更新的变化源数据的数据量值不一致时，则将同步至第二数据库中的更新的变化源数据进行移除，并重新将变化元数据表中更新的变化元数据重新同步至第二数据库。

2.如权利要求1所述的大数据迁移方法，其特征在于，通过所述第一源表配置文件对所述不变化源数据在表任务中配置不变化源数据表信息，包括：

根据所述不变化源数据表中的数据属性将所述不变化源数据进行分类并存储在多个子不变化源数据表中；

通过所述第一源表配置文件和所述多个子不变化源数据表对所述不变化源数据在表任务中配置不变化源数据表信息；

根据所述表任务信息将所述不变化源数据表中的不变化源数据迁移至第二数据库，包括：

根据所述表任务信息将所述多个子不变化源数据表中的不变化源数据迁移至第二数据库。