[发明专利]一种数据迁移的处理方法、装置及存储介质

权利要求书

1.一种数据迁移的处理方法，其特征在于，应用于基于纠删分布式存储系统；其中，所述纠删分布式存储系统包括多个DN数据节点和管理所述多个DN数据节点的管理节点ms；每个所述DN数据节点包括多个存储单元，所述数据迁移的处理方法包括：

对多个所述DN数据节点的状态进行检测；

在多个DN数据节点中的DN数据节点A中的存储单元A发生故障时，根据存储单元A中的故障文件的block文件的纠删信息将所述故障文件恢复到数据恢复位置，以完成所有数据的恢复；其中，所述数据恢复位置按照预先设定的恢复策略确定，所述数据恢复位置包括第一故障恢复位置或/和第二故障恢复位置，所述第一故障恢复位置为DN数据节点A中存储单元A之外的其他存储单元，所述第二故障恢复位置为多个DN数据节点中DN数据节点A之外的其他DN数据节点中的某一个存储单元；所述纠删信息通过管理节点ms响应故障消息从redis数据库中获取，所述纠删信息在block文件被创建时存储在所述redis数据库中；

若所述存储单元A的故障恢复，将恢复到所述数据恢复位置的文件迁移回数据迁移位置，以完成所有数据的迁移，其中，所述数据迁移位置为所述存储单元A。

2.根据权利要求1所述的数据迁移的处理方法，其特征在于，所述预先设定的恢复策略根据以下至少之一确定：

负载均衡、可靠性、DN数据节点A中每个存储单元的剩余存储空间、DN数据节点A之外的其他DN数据节点中每个存储单元的剩余存储空间。

3.根据权利要求1所述的数据迁移的处理方法，其特征在于，若存储单元A的故障恢复，则在将所述故障文件迁移到所述存储单元A时，将所述故障文件迁移到文件在创建时的位置信息。

4.根据权利要求3所述的数据迁移的处理方法，其特征在于，所述block文件的创建方法包括：

管理节点ms根据存储单元的容量计算出可创建的大文件个数；

根据纠删比依次创建每个大文件下的block文件。

5.根据权利要求1所述的数据迁移的处理方法，其特征在于，所述block文件在创建时的位置确定满足以下条件：负载均衡或/和可靠性最高。

6.根据权利要求1所述的数据迁移的处理方法，其特征在于，在数据迁移过程中，若存在对正在迁移的数据进行写操作，则同时向迁移和被迁移的block写入数据。

7.根据权利要求1所述的数据迁移的处理方法，其特征在于，所述纠删信息包括：纠删同组的block文件信息和DNIP信息。

8.一种数据迁移的处理方法，其特征在于，应用于基于纠删分布式存储系统；其中，所述纠删分布式存储系统包括多个DN数据节点和管理所述多个DN数据节点的管理节点ms；每个所述DN数据节点包括多个存储单元，所述数据迁移的处理方法包括：

当多个DN数据节点中的DN数据节点A中的存储单元A发生故障时，所述DN数据节点A向所述管理节点ms发送故障消息；

所述管理节点ms响应所述故障消息，从redis数据库中获取所述存储单元A中故障文件的block文件的纠删信息；所述纠删信息在block文件被创建时存储在所述redis数据库中；

所述管理节点ms按照预先设定的恢复策略确定数据恢复位置，以完成所有数据的恢复；其中，所述数据恢复位置包括第一故障恢复位置或/和第二故障恢复位置，所述第一故障恢复位置为DN数据节点A中存储单元A之外的其他存储单元，所述第二故障恢复位置为多个DN数据节点中DN数据节点A之外的其他DN数据节点中的某一个存储单元；

所述存储单元A接收所述纠删信息，并根据所述纠删信息将所有需要恢复的文件恢复到所述数据恢复位置，以完成所有数据的恢复；

若所述存储单元A的故障恢复，将恢复到所述数据恢复位置的文件迁移回数据迁移位置，以完成所有数据的迁移，其中，所述数据迁移位置为所述存储单元A。