[发明专利]一种存储集群中存储介质变更减少重构数据的方法及系统

说明书

本发明提供一种存储集群中存储介质变更减少重构数据的方法及系统，所述方法包括如下步骤：S1.获取集群存储池中归置组PG的原始分布OSD列表；S2.当集群存储池中发生换盘时，获取集群存储池中归置组PG的新分布OSD列表；S3.计算归置组PG的原始分布OSD列表与新分布OSD列表的差异项，生成差异比对表；S4.遍历差异比对表依次删除每个归置组PG差异项在对应新分布OSD列表中的替换硬盘，得到额外OSD变化的归置组PG，生成差异纠正表；S5.应用差异纠正表，将额外OSD变化的归置组PG纠正成原始分布。本发明减少集群数据的迁移量，提升集群可用性。

技术领域

本发明属于分布式存储技术领域，具体涉及一种存储集群中存储介质变更减少重构数据的方法及系统。

背景技术

OSD，是Object-based Storage Device的简称，基于对象存储技术的设备就是对象存储设备，也就是存储介质，对应存储集群中的硬盘。

PG(Placement Group)归置组，数据分布的一种逻辑单元。

存储池是分布式存储系统的基础，一般存储系统中有多个存储池组成，存储池在创建时指定数据保存模式，比如副本模式或者纠删模式。存储池创建后会生成对应的归置组PG，归置组PG是一种虚拟概念，以副本模式中的3副本为例，为了实现高可用，归置组PG通过某种伪随机算法分别计算出3个OSD进行数据保存，即每个归置组PG都有对应的OSD列表，例如某个归置组PG的OSD列表为[6 1 11]。

在集群使用中因为某些原因(寿命，异常断电等)会导致硬盘故障，从而产生硬盘替换需求，硬盘替换后通过伪随机算法再次计算归置组PG分布(OSD列表)，涉及替换硬盘的归置组PG会产生数据的迁移，但是因为伪随机算法不稳定，并未涉及换盘的归置组PG也会存在一定数量的OSD列表变更，从而导致不必要的数据迁移，集群数量越大迁移时间就越长，问题越明显，目前针对该问题并没有有效优化。

此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种存储集群中存储介质变更减少重构数据的方法及系统，是非常有必要的。

发明内容

针对现有技术的上述硬盘替换后，因为伪随机算法不稳定，并未涉及换盘的归置组PG也会存在一定数量的OSD列表变更，从而导致不必要的数据迁移的缺陷，本发明提供一种存储集群中存储介质变更减少重构数据的方法及系统，以解决上述技术问题。

第一方面，本发明提供一种存储集群中存储介质变更减少重构数据的方法，包括如下步骤：

S1.获取集群存储池中归置组PG的原始分布OSD列表；

S2.当集群存储池中发生换盘时，获取集群存储池中归置组PG的新分布OSD列表；

S3.计算归置组PG的原始分布OSD列表与新分布OSD列表的差异项，生成差异比对表；

S4.遍历差异比对表依次删除每个归置组PG差异项在对应新分布OSD列表中的替换硬盘，得到额外OSD变化的归置组PG，生成差异纠正表；

S5.应用差异纠正表，将额外OSD变化的归置组PG纠正成原始分布。

进一步地，步骤S2具体步骤如下：

S21.判断集群存储池中是否发生换盘；

若是，进入步骤S22；

若否，返回步骤S21；

S22.获取集群存储池中归置组PG新分布OSD列表，进入步骤S3。发生换盘就会发生归置组PG的OSD列表的重新计算。

进一步地，步骤S3具体步骤如下：

S31.计算归置组PG的原始分布OSD列表与新分布OSD列表的差异项并进行保存；