[发明专利]数据迁移方法、装置、设备及存储介质

说明书

本发明实施例提供一种数据迁移方法、装置、设备及存储介质。其中，一种数据迁移方法，应用于电子设备，电子设备与实现云计算任务的集群通信连接，获取云计算任务；其中，云计算任务中记录有第一路径和第二路径，第一路径为关于云计算任务的输入数据的访问路径，第二路径为关于云计算任务的执行节点的访问路径；对云计算任务进行解析，得到第一路径和第二路径；基于第一路径和第二路径，判断输入数据所属的第一集群和执行节点所属的第二集群，是否为同一集群；当判断结果为否时，将位于第一路径下的输入数据同步到第二路径下，并将云计算任务中的第一路径修改为第二路径。本方案可以降低跨集群的数据迁移的成本。

技术领域

本发明涉及数据迁移技术领域，特别是涉及一种数据迁移方法、装置、设备及存储介质。

背景技术

随着互联网技术的发展，云计算任务往往存在海量数据和高并发等等特点。对此，为了应对海量数据和高并发，可以由不同的集群分别存储云计算任务的的输入数据，以及执行云计算任务。

相关技术中，为了在应对海量数据和高并发的同时，兼顾对云计算任务的执行速度的提高，管理人员可以在云计算任务执行前，人工实现云计算任务的输入数据的在不同集群之间的迁移：将云计算任务的输入数据同步到用于执行该云计算任务的执行节点所属的集群上，并将云计算任务中记录的该云计算任务的输入数据的存储位置更新为用于执行该云计算任务的执行节点所属的集群，从而完成跨集群的数据迁移。以此为基础，在执行云计算任务时，执行该任务的集群可以直接从该集群自身获取该云计算任务的输入数据，减少跨集群获取数据的时延造成的云计算任务的执行速度降低的问题，从而提高云计算任务的执行速度。

但是，云计算任务往往是海量的。此时，通过上述人工实现云计算任务的数据迁移时，需要大量的管理人员进行大量的数据迁移工作，容易造成数据迁移成本过高的问题。

发明内容

本发明实施例的目的在于提供一种数据迁移方法、装置、设备及存储介质，以实现降低跨集群迁移数据的成本的效果。具体技术方案如下：

第一方面，本发明实施例提供了一种数据迁移方法，应用于电子设备，所述电子设备与实现云计算任务的集群通信连接，该方法包括：

获取云计算任务；其中，所述云计算任务中记录有第一路径和第二路径，所述第一路径为关于所述云计算任务的输入数据的访问路径，所述第二路径为关于所述云计算任务的执行节点的访问路径；

对所述云计算任务进行解析，得到所述第一路径和所述第二路径；

基于所述第一路径和所述第二路径，判断所述输入数据所属的第一集群和所述执行节点所属的第二集群，是否为同一集群；

当判断结果为否时，将位于第一路径下的所述输入数据同步到所述第二路径下，并将所述云计算任务中的所述第一路径修改为所述第二路径。

可选的，所述云计算任务为通过预定任务编写规则所编写得到的，所述预定任务编写规则为能够将所述第一路径和所述第二路径写入至所述云计算任务的规则。

可选的，所述云计算任务中还记录有第三路径，所述第三路径为关于所述云计算任务的计算结果的输出节点的访问路径；

所述方法还包括：

在所述云计算任务的计算结果生成之前，从所述云计算任务中解析得到所述第三路径；

基于所述第三路径和所述第二路径，判断所述第二集群和所述输出节点所属的第三集群，是否为同一集群；

如果判断结果为否，将所述云计算任务中的所述第三路径修改为所述第二路径；

在所述云计算任务的计算结果生成后，将位于所述第二路径下的所述计算结果同步至所述第三路径下。

可选的，所述云计算任务中还记录有目标时刻，所述目标时刻为所述云计算任务的执行时刻；