[发明专利]一种数据迁移方法、装置和计算机可读存储介质

说明书

本申请提供一种数据迁移方法，包括：获取目标迁移文件；根据当前系统空闲IO的属性与预设的每个文件迁移任务需要的迁移IO，确定并发迁移的迁移个数；根据迁移个数向客户端发送目标迁移文件的迁移任务，以便客户端根据迁移任务对目标迁移文件进行并发迁移；其中，当前系统空闲IO为系统最大IO中去除用户实际占用IO和预留IO后的IO。本申请通过设置预留IO供用户缓冲使用，快速清理快速池提升存储系统整体性能的同时，不影响用户使用；通过利用当前系统空闲IO的属性确定并发迁移的迁移个数，自适应的调整并发迁移的迁移个数，提高数据迁移效率。本申请同时还提供的数据迁移装置、电子设备和计算机可读存储介质，均具有上述有益效果。

技术领域

本申请涉及数据存储技术领域，特别涉及一种数据迁移方法、数据迁移装置、电子设备和计算机可读存储介质。

背景技术

对于分布式文件系统，按照文件顺序对分级文件数据进行数据迁移，若当前文件的数据迁移完成后，才继续进行下一个文件的数据迁移，因此，导致文件迁移效率低下，数据迁移消耗周期长，快速池内数据不能及时迁移至低速池，影响整个存储系统的性能，针对此问题相关技术是增加并发迁移，配置固定的并发迁移数，但是此方案难以适配现场所有场景，例如在高并发迁移时会影响用户的IO操作；用户低IO操作时，迁移速度受自生并发迁移数配置限制，文件迁移效率较低。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本申请的目的是提供一种数据迁移方法、数据迁移装置、电子设备和计算机可读存储介质，能够提高数据迁移效率。其具体方案如下：

本申请公开了一种数据迁移方法，包括：

获取目标迁移文件；

根据当前系统空闲IO的属性与预设的每个文件迁移任务需要的迁移IO,确定并发迁移的迁移个数；

根据所述迁移个数向客户端发送所述目标迁移文件的迁移任务，以便所述客户端根据所述迁移任务对所述目标迁移文件进行并发迁移；

其中，所述当前系统空闲IO为系统最大IO中去除用户实际占用IO和预留IO后的IO。

可选的，所述根据当前系统空闲IO的属性与预设的每个文件迁移任务需要的迁移IO,确定并发迁移的迁移个数，包括：

根据系统空闲iops与预设的每个文件迁移任务需要的迁移iops，确定第一迁移个数；

根据系统剩余聚合带宽与预设的每个文件迁移任务需要的迁移聚合带宽，确定第二迁移个数；

确定所述第一迁移个数与所述第二迁移个数中最小的数值作为所述迁移个数。

可选的，所述根据所述迁移个数向客户端发送所述目标迁移文件的迁移任务，包括：

判断当前正在执行的所有的待迁移文件的数量是否小于所述迁移个数；

若小于所述迁移个数，则向所述客户端发送所述目标迁移文件的所述迁移任务；

若大于所述迁移个数，则进行等待，直至所有的所述待迁移文件的数量小于所述迁移个数，并向所述客户端发送所述目标迁移文件的所述迁移任务。

可选的，所述若大于所述迁移个数，则进行等待，直至所有的所述待迁移文件的数量小于所述迁移个数，并向所述客户端发送所述目标迁移文件的所述迁移任务，包括：

当完成一个待迁移文件时，根据当前系统空闲IO的属性确定并发迁移的新的迁移个数；

若所有的所述待迁移文件的数量小于所述新的迁移个数，则向所述客户端发送所述目标迁移文件的所述迁移任务。

可选的，还包括：

定时扫描待迁移文件；