[发明专利]一种基于磁盘阵列扩展的数据块重分布方法及装置

说明书

本申请公开了一种基于磁盘阵列扩展的数据块重分布方法及装置，该方法包括：获取原始磁盘阵列中各磁盘之间的当前IO访问量；调用神经网络预测模型对所述原始磁盘阵列中每个磁盘的当前IO访问量进行预测，得到每个磁盘对应的预测IO访问量；根据所述预测IO访问量，确定所述原始磁盘阵列中的热访问磁盘；从所述热访问磁盘中选取当前IO访问量超过所述热访问磁盘对应的平均访问量的数据块，作为热访问数据块；按照预设的迁移规则，将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中。通过实施本申请，能够解决现有技术中存在的无法实现IO访问的整体平衡等问题。

技术领域

本申请涉及云存储技术领域，特别是涉及一种基于磁盘阵列扩展的数据块重分布方法及装置。

背景技术

廉价/独立磁盘冗余阵列(Redundant Array of Independent Disks，RAID)是大型数据中心的主流存储技术，它以可接受的空间和金钱成本提供高可靠性和高性能存储服务。海量数据存储在大量冗余磁盘中，以方便用户并行访问。

除了增加RAID系统的物理容量外，在现有原始阵列中添加额外的磁盘也是一种经济且具有成本效益的解决方案。此外，高可扩展性允许对存储设备进行大量并行访问，这在各种场景(例如云计算)中都是很常见的需求。它可以避免极高的停机成本并最终改善整体性能。因此，可延展性在RAID系统中起着很重要的作用，因此有必要开发有效且可靠的扩展方案。

近年来已经提出了许多磁盘阵列扩展方案，其中一些已经部署在实际的数据中心中了。但现有方案设计中存在固有的一些问题，例如典型的迁移输入/输出(I/O)问题。几种典型的扩展方案，如Round-Robin(轮询调度，RR)和Semi-RR，它们都易于实现，并且在数据迁移和奇偶校验修改方面具有很高的IO访问成本。诸如，FastScale和Global-StripedRedistribution(GSR)之类的高级扩展方案是预定义的，在扩展过程中使用有效的预定义的重新分配算法进行数据迁移，以实现最小的迁移IO开销。

在实践中发现，现有磁盘阵列扩展方案基本上都是静态方案，忽略了受上层应用程序工作负载影响的存储系统的动态变化。具体来说，给定一个纠删码和对应布局后，在现有磁盘阵列扩展方案中都预定义了数据的整个迁移过程和顺序，它们通过为扩展磁盘阵列中每个磁盘获取相同数量的数据来达到平衡的工作量，但这是绝对平衡。显然忽略了上层应用程序的数据访问，特别对于具有偏向分布、均匀分布的数据的典型应用程序，无法平衡整体的IO访问开销。此外，可以将访问的数据重定向到扩展的新增磁盘，这有可能节省迁移IO来平衡工作复制。尽管现有技术存在有例如CRAID等方案可以从动态工作负载中识别出热访问数据块，但这样的方案主要专注于缓存或IO加速，对于IO访问密集型的应用程序效率不高。

发明内容

为克服上述现有技术存在的不足，本申请之目的在于提供一种基于磁盘阵列扩展的数据块重分布方法及装置，能够解决现有技术中存在的忽略上层应用程序工作负载对扩展磁盘阵列的动态影响，无法实现IO访问的整体平衡等问题。

为达上述及其它目的，本申请提出一种基于磁盘阵列扩展的数据块重分布方法，包括如下步骤：

获取原始磁盘阵列中各磁盘之间的当前IO访问量；

调用神经网络预测模型对所述原始磁盘阵列中每个磁盘的当前IO访问量进行预测，得到每个磁盘对应的预测IO访问量；

根据所述预测IO访问量，确定所述原始磁盘阵列中的热访问磁盘；

从所述热访问磁盘中选取当前IO访问量超过所述热访问磁盘对应的平均访问量的数据块，作为热访问数据块；

按照预设的迁移规则，将所述热访问数据块迁移重写入扩展磁盘阵列的新增磁盘中。

可选的，所述根据所述预测IO访问量，确定所述原始磁盘阵列中的热访问磁盘包括：