[发明专利]异构存储介质之间的数据处理方法、装置及设备

说明书

本发明实施例提供了一种异构存储介质之间的数据处理方法、装置及设备。数据处理方法包括：获取源存储介质中的至少一个待处理文件；对至少一个待处理文件进行计算，获得至少一个待处理文件各自对应的第一校验信息；获取目标存储介质中存储的至少一个待处理文件各自对应的第二校验信息，源存储介质与目标存储介质为异构存储介质；基于第一校验信息与第二校验信息，判断至少一个待处理文件是否为源存储介质与目标存储介质之间的差异文件。本实施例提供的技术方案，有效地实现了对异构存储介质之间的数据进行差异性检测操作，这样在进行数据迁移或者数据拷贝的应用场景中，有利于保证了数据迁移或数据拷贝的准确可靠性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种异构存储介质之间的数据处理方法、装置及设备。

背景技术

随着科学技术的飞速发展，能够提供海量、安全、低成本、高可靠的云存储服务的应用领域越来越广泛。在大数据迁移的应用场景，特别是在异构存储介质之间进行大数据迁移时，往往需要比较源存储介质和目标存储介质中的数据之间是否存在差异。例如：将数据从用户自建的分布式Hadoop集群迁移至云上时，需要比较Hadoop集群和云存储介质之间的数据是否存在差异。

对于异构存储介质而言，现有的数据处理方法往往会跳过数据完整性校验，导致在数据迁移操作出现异常时，难以及时发现问题。

发明内容

本发明实施例提供了一种异构存储介质之间的数据处理方法、装置及设备，能够解决现有技术中存在的由于异构存储介质默认的数据校验方式往往不同，而无法直接使用的问题。

第一方面，本发明实施例提供一种异构存储介质之间的数据处理方法，包括：

获取源存储介质中的至少一个待处理文件；

对所述至少一个待处理文件进行计算，获得所述至少一个待处理文件各自对应的第一校验信息；

获取目标存储介质中存储的所述至少一个待处理文件各自对应的第二校验信息，其中，所述源存储介质与所述目标存储介质为异构存储介质；

基于所述第一校验信息与所述第二校验信息，判断所述至少一个待处理文件是否为所述源存储介质与所述目标存储介质之间的差异文件。

第二方面，本发明实施例提供一种异构存储介质之间的数据处理装置，包括：

第一获取模块，用于获取源存储介质中的至少一个待处理文件；

第一计算模块，用于对所述至少一个待处理文件进行计算，获得所述至少一个待处理文件各自对应的第一校验信息；

所述第一获取模块，还用于获取目标存储介质中存储的所述至少一个待处理文件各自对应的第二校验信息，其中，所述源存储介质与所述目标存储介质为异构存储介质；

第一处理模块，用于基于所述第一校验信息与所述第二校验信息，判断所述至少一个待处理文件是否为所述源存储介质与所述目标存储介质之间的差异文件。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的异构存储介质之间的数据处理方法。

第四方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面中的异构存储介质之间的数据处理方法。

第五方面，本发明实施例提供了一种异构存储介质之间的数据处理方法，包括：

获取源存储介质中存储的至少一个待处理文件；

对所述至少一个待处理文件进行计算，获得与所述至少一个待处理文件各自对应的校验信息；