[发明专利]基于纠删码的分布式存储系统的扩容和缩容方法

说明书

技术领域

本发明涉及一种基于纠删码的分布式存储系统的扩容和缩容方法。

背景技术

在不同的磁盘阵列中，基于异或校验运算的冗余磁盘阵列(本文简称“校验阵列”，XOR-based RAID)由于其能够同时提供高可靠和高性能的存储服务，已成为大型数据中心主流存储设备。近几年来，校验阵列的可扩展性研究备受关注，主要是由于以下原因：

1)为了满足更大存储空间，更高吞吐的需求。直接在使用的磁盘阵列中加入磁盘是一个性价比高的方案。

2)为了满足节能的需求。通过移除磁盘阵列中使用率低的磁盘，以达到减少能耗的目的。

3)为了应对越来越多在线应用的需求。通常，RAID被广泛应用于各种在线服务，如云计算。高可扩展性不仅能够应对在线应用所面临的用户数据爆发的问题，同时也避免了机器故障所产生的巨大维修时间开销。

4)数据中心的需要。RAID架构广泛应用于集群和大型存储系统，在这些系统中，可扩展性至关重要。

在不同的RAID结构中，校验阵列(主要是RAID-4、RAID-5和RAID-6)是最为重要的一种形式，并被广泛应用于大型数据中心。目前主流的可扩展方法包括轮转(Round-Robin,RR)、半轮转Semi-RR、ALV和MDM等。

但是，当前主流的可扩展方法有两个问题。一个问题是可扩展过程中的高I/O开销。在传统的可扩展方法——轮转方法中，几乎所有的数据都迁移，从而导致所有的校验都要重新计算和修改，大量的元数据需要更新。半轮转具有数据分布不平衡的问题，这将会极大降低校验阵列的性能。ALV通过聚集迁移I/O的方法降低I/O数，但它不能减少访问的数据块的总数。虽然MDM可以减少数据的活动和数量的校验修改，但它也会导致其存储效率和扩展后的性能较低。此外，MDM改变了原有阵列的奇偶校验布局，这使得数据映射更复杂，处理读取和写入请求更加困难。

第二个问题是是否支持双向可扩展(添加磁盘和删除磁盘)。除轮转方法外，其他主流方法都只支持正向可扩展(增加磁盘)。

发明内容

本发明的目的在于提供一种基于纠删码的分布式存储系统的扩容和缩容方法，能够加速校验阵列的可扩展过程。

为解决上述问题，本发明提供一种基于纠删码的分布式存储系统的扩容和缩容方法，包括：

步骤S1，扩容或缩容前识别磁盘阵列，检查磁盘阵列中每个磁盘的空闲空间并获得相关参数m和n，其中，n为扩容或缩容前的磁盘数量，m为扩容后添加的磁盘数据或缩容后减少的磁盘数量；

步骤S2，计算磁盘阵列中保留、重映射以及重构的OUS/NUS数量，其中，OUS为扩展前用过的条带，NUS为为扩展后用过的条带；

步骤S3，并发地处理保留、重新映射和重构的OUS/NUS；

步骤S4，修改所有的校验块。

进一步的，在上述方法中，所述处理保留的OUS/NUS包括：

将所有的数据块和校验块保留在同一个磁盘上，如果有数据块被移入或移除相应的校验块，对该校验块进行修改。

进一步的，在上述方法中，将所有的数据块和校验块保留在同一个磁盘上，如果有数据块被移入或移除相应的校验块，对该校验块进行修改中，包括：

更新OUS/NUS的条带编号。

进一步的，在上述方法中，所述处理重新映射OUS/NUS包括：

通过重新映射新的条带，所有数据块被保留在同一磁盘上。

进一步的，在上述方法中，通过重新映射新的条带，所有数据块被保留在同一磁盘上中，包括：

重新映射所有的数据块并分配新的条带编号。

进一步的，在上述方法中，所述处理重构的OUS/NUS包括：

将所有的数据块被迁移到另一个磁盘上，在每个重构的OUS/NUS中，数据块被迁移到新磁盘上以扩展或移除磁盘。

进一步的，在上述方法中，所述将所有的数据块被迁移到另一个磁盘上，在每个重构的OUS/NUS中，数据块被迁移到新磁盘上以扩展或移除磁盘，包括：

迁移所有的数据块并分配新的条带编号。

与现有技术相比，本发明主要有如下三个优点：

1)支持磁盘阵列的双向扩展(增加或减少磁盘)，在增加新磁盘时，本发明可以保证扩展后的阵列性能和存储效率得到提升；