[发明专利]一种低能耗集群环境下基于频度关联的冷数据放置策略

说明书

本发明公开了一种低能耗集群环境下基于频度关联的冷数据放置策略，该发明针对现有的大量节能的网络集群存储系统将部分存储节点长期维持在低能耗状态，仅在需要的时候启动以提供服务，以此达到节能的目的，提出借助数据访问频度及关联性，将关联的冷数据集中到同一低能耗节点。从而，本策略使得在访问多个关联的冷数据时，理想情况下只需要启动一次冷节点，且减少了冷节点的启动数量，由于关联数据通常一起被访问，从而通过此种放置策略，可以有效减少节点的唤起次数，同时减少对冷数据访问的响应延时。此外，本策略将关联冷数据连续写入磁盘，可以减少读写访问延迟提升系统性能。

技术领域

本发明涉及计算机存储技术领域，具体涉及一种低能耗集群环境下基于频度关联的冷数据放置策略，更具体的涉及了基于数据的访问情况进行数据分类及数据访问关联性识别方法，并将相关联的冷数据动态迁移至同一冷节点中。

背景技术

随着网络的普及和迅猛发展，互联网用户数量已难以估量。网络已经覆盖了人类生产生活的方方面面。日常生产生活当中互联网用户会产生各种各样的数据和信息，如学习资料、办公材料、商务数据、游戏娱乐数据及程序等等。这使得网络存储系统需要存储并处理庞大的数据。从而，网络存储系统规模日益庞大，因此其巨大的系统能耗成为了一个重要问题。此外，为了能提供优质的服务和足够的存储空间，存储系统常常会使用远多于实际需要的硬件资源。然而大部分资源在多数情况下并没被使用到，这就使得系统产生大量不必要的能源开销。在集群环境下，大量的低能耗方案采用关闭(或休眠)一部分不必要的硬件资源来节约存储系统的能耗。但这类方案设计大致有两种，一种不考虑数据的访问情况，另一种考虑数据的访问情况却不考虑数据访问的关联性。前种设计将所有数据集中到部分存储节点上，关闭(或休眠)其它节点。后种设计将高频访问数据集中到部分存储节点上，低频访问数据则放置到其它会被关闭(或休眠)的节点上。

从实现上来看，大多低能耗集群方案是根据系统的负载关闭(或休眠)负载轻的节点，并将这些节点的任务转移到其他节点，借此将传统存储系统中的存储节点划分为热节点集合和冷节点集合。然而由于唤起关闭(或休眠)的节点需要消耗大量电能并会产生一定的延时，节点唤起操作过多时，非但不能达到节能效果，反而会使得能耗增加且系统性能下降。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种低能耗集群环境下基于频度关联的冷数据放置策略。

本发明的目的可以通过采取如下技术方案达到：

一种低能耗集群环境下基于频度关联的冷数据放置策略，所述的放置策略包括下列步骤：

S1、数据识别器开始工作，同时网络存储系统工作一段指定的时间后，根据负载的平均值，得到处理负载需要的存储节点个数，并附加一定量的存储节点以应对高负载情况，得到网络存储系统初始时热节点的数量；

S2、数据初始化放置，根据热节点的数量，对网络存储系统进行划分，其中热节点个数设置为此数量，作为热节点集合，剩余节点作为冷节点集合，各存储节点数据缓存置空，根据数据识别器的识别情况，区分放置到最佳节点的数据缓存中；

S3、网络存储系统正常运行，热节点一直处于正常工作状态，而冷节点在无任务请求一段时间后转入休眠状态，当任务到来时才被唤起以处理任务请求，运行过程中若出现数据属性改变情况时，则执行步骤S4，否则执行步骤S5；

S4、数据动态迁移，当原为热数据的数据转为冷数据时，该数据被迁移到关联度最佳的冷节点数据缓存中，而当原为冷数据的数据转为热数据时，该数据被迁移到负载最轻的热节点数据缓存中，继续返回执行步骤S3；

S5、历史信息清理，网络存储系统运行时间较长后，数据识别器清理过时的历史访问信息，清理完成后，继续返回执行步骤S3。