[发明专利]数据迁移方法、装置、分布式系统和计算机可读存储介质

说明书

本申请实施例提出一种数据迁移方法、装置、分布式系统和计算机可读存储介质，涉及分布式存储技术领域。在所述分布式系统满足迁移触发条件的情况下，判断所述分布式系统对应的故障节点阈值是否变化；所述故障节点阈值为所述分布式系统允许出现的故障节点数量的最大值；若所述故障节点阈值发生变化，则对所述分布式系统中的数据块进行阈值变化迁移，并在阈值变化迁移完成且所述分布式系统不满足容量均衡条件的情况下，对所述分布式系统中的数据块进行容量均衡迁移；若所述故障节点阈值并未发生变化且所述分布式系统不满足容量均衡条件，则对所述分布式系统中的数据块进行容量均衡迁移。通过该方法可保证分布式系统的数据可靠性。

技术领域

本申请涉及分布式存储技术领域，具体而言，涉及一种数据迁移方法、装置、分布式系统和计算机可读存储介质。

背景技术

目前，可以采用纠删码技术利用分布式系统进行数据存储，当分布式系统中的已使用容量过大时，可以扩容节点或节点中的磁盘，以满足数据存储需求，而为了保证分布式系统的数据容量均衡，需要对分布式系统中存储的数据块进行数据迁移。

现有技术中在对数据块进行数据迁移时，往往存在数据可靠性较低的问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据迁移方法、装置、分布式系统和计算机可读存储介质，以解决现有技术中在对数据块进行数据迁移时存在的数据可靠性较低的问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请提供一种数据迁移方法，应用于分布式系统，所述分布式系统包括多个节点，所述方法包括：

在所述分布式系统满足迁移触发条件的情况下，判断所述分布式系统对应的故障节点阈值是否变化；所述故障节点阈值为所述分布式系统允许出现的故障节点数量的最大值；

若所述故障节点阈值发生变化，则对所述分布式系统中的数据块进行阈值变化迁移，并在阈值变化迁移完成且所述分布式系统不满足容量均衡条件的情况下，对所述分布式系统中的数据块进行容量均衡迁移；

若所述故障节点阈值并未发生变化且所述分布式系统不满足容量均衡条件，则对所述分布式系统中的数据块进行容量均衡迁移。

在可选的实施方式中，所述在所述分布式系统满足迁移触发条件的情况下，判断所述分布式系统对应的故障节点阈值是否变化，包括：

在所述分布式系统满足迁移触发条件的情况下，若所述分布式系统中的节点数量不变，则确定所述分布式系统对应的故障节点阈值不变；

若所述分布式系统中的节点数量增加，且所述分布式系统满足预设的第一阈值变化条件或者预设的第二阈值变化条件，则确定所述分布式系统对应的故障节点阈值变化。

在可选的实施方式中，所述第一阈值变化条件包括所述分布式系统中的原节点数量小于每个数据所分成的数据块数量，且所述分布式系统中的当前节点数量大于等于每个数据所分成的数据块数量；所述数据所分成的数据块数量为所述数据所分成的原始数据块数量与冗余片段数量的和；

所述第二阈值变化条件，包括所述分布式系统中的原节点数量小于每个数据所分成的数据块数量，且所述分布式系统对应的新故障节点阈值大于所述分布式系统对应的原故障节点阈值；

其中，所述新故障节点阈值根据每个数据所分成的原始数据块数量、冗余片段数量以及所述分布式系统的当前节点数量计算得到，所述原故障节点阈值根据数据所分成的原始数据块数量、冗余片段数量以及所述分布式系统的原节点数量计算得到。

在可选的实施方式中，每个所述节点中包括至少一个磁盘，所述分布式系统中存储有各个所述数据块与所述数据块所在的节点和磁盘之间的对应关系；

所述对所述分布式系统中的数据块进行阈值变化迁移，包括：