[发明专利]一种集群存储系统的节能存储方法

说明书

技术领域

本发明属于数据存储领域，更具体地，涉及一种集群存储系统的节能存储方法。

背景技术

信息技术的迅猛发展使得数字信息呈爆炸式增长，对存储系统的容量有着巨大的需求，目前数据中心的存储容量已从之前的TB(Terabyte)级上升到PB(Petabyte)级，甚至EB(Exabyte)级，集群存储系统就是将大量的磁盘组合起来并使用各种方法来提高存储系统的可靠性、性能和容量，但集群存储系统的高能耗问题已变成影响存储系统运行成本和数据可靠性的关键因素之一，现有数据存储节能技术是通过将空闲存储设备关闭或切换到低功耗模式来实现节能，即根据硬件配置在不同能级之间换档，或利用数据的访问局部性将数据集中到某些设备上，使得其余设备处于空闲状态。

然而，现有的集群存储系统的节能存储方式存在以下问题：通过不同能级换挡和数据访问局部性方式很难保证存储系统的高性能、高可靠性和低成本。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种利用冗余性和延迟写策略的纠删码集群存储系统节能方法，旨在保证可靠性的情况下，有效地提高存储系统的容错能力和存储效率，降低存储系统的能耗。

为实现上述目的，本发明提供了一种集群存储系统的节能存储方法，包括以下步骤：

(1)获取请求队列信息；

(2)判断请求队列信息是读数据请求还是写数据请求，如果是读数据请求，则进入步骤(3)，否则进入步骤(5)；

(3)根据读数据请求进行读数据操作，以获取读数据请求所对应的数据；

(4)返回读数据请求所对应的数据，读数据过程结束；

(5)根据写数据请求，判断写数据请求对应的数据节点是否失效，如果失效，则进入步骤(6)，否则进入步骤(7)；

(6)对失效的数据节点进行数据重构操作；

(7)判断当前的缓存空间利用率是否达到阈值，如果达到阈值，则进入步骤(8)，否则进入步骤(9)；

(8)根据缓存空间利用率对缓存中的数据进行数据同步操作；

(9)执行写入操作，写入写数据请求所对应的数据。

步骤(3)包括以下子步骤：

(3-1)根据读数据请求在元数据服务器上获取请求数据的元数据信息；

(3-2)判断读数据请求对应的数据节点是否失效，若失效，则进入步骤(3-3)，否则进入步骤(3-6)；

(3-3)唤醒冗余节点P1；

(3-4)读取其余的数据节点上的数据分片和冗余节点P1上的冗余分片；

(3-5)基于读取的数据分片和冗余分片进行解码运算；

(3-6)根据解码运算的结果得到读数据请求对应的数据。

解码运算采用RS编码。

步骤(6)包括以下子步骤：

(6-1)根据数据重构算法增加新的数据节点；

(6-2)根据数据重构算法唤醒部分冗余节点；

(6-3)获取其余数据节点的一块数据分片和已唤醒的冗余节点上的一块冗余分片进行解码运算；

(6-4)判断解码运算是否成功，若成功，则进入步骤(6-5)，若不成功，则返回出错信息，过程结束；

(6-5)将已解码的数据分片写入新的数据节点中；

(6-6)判断磁盘数据是否重构完成，若磁盘数据重构完成，则进入步骤(6-7)，否则返回步骤(6-3)；

(6-7)获取其余数据节点上的一块数据分片及其缓存区域中的一块冗余分片，进行解码运算；

(6-8)判断解码运算是否成功，若成功，则进入步骤(6-9)，若不成功，则返回出错信息，数据重构过程结束；

(6-9)将已解码的数据分片写入新的数据节点中；

(6-10)对于其余的数据节点的其余数据分片和已唤醒的冗余节点上的其余冗余分片，重复执行以上步骤(6-3)-(6-9)，直到所有分片都处理完毕为止。

数据重构算法为基于RS编码的数据重构算法，唤醒的冗余节点的数量是由失效的数据节点的数量决定，解码运算是采用RS编码。

步骤(8)包括以下子步骤：

(8-1)唤醒所有休眠的冗余节点；

(8-2)从所有的数据节点上获取缓存冗余分片；

(8-3)将缓存冗余分片分别写入对应的冗余节点中。

步骤(9)包括以下子步骤：

(9-1)确定用于缓存冗余分片的数据节点；

(9-2)基于数据节点计算新的冗余数据；