[发明专利]一种应用于节能型集群系统的数据重新部署方法

说明书

技术领域

本发明是一种按数据访问规律将数据、任务以及节点进行重新部署，以达到服务器能够波态运行，从而实现节能型数据中心集群系统的新型方法。属于分布式计算、计算机网络、信息系统等信息技术类应用领域。

背景技术

集群系统的能耗问题目前引起了广泛的关注。Google的集群系统每年消耗的电能为1亿千瓦。一个集群系统的运维成本费用中，能耗占了40％。IDC的统计数据显示，集群系统服务器电力消耗以每年16％的速度递增，亚太区集群系统的电力消耗增长速度为每年23％。根据节能和平组织的报告：2010年，由于集群系统和远程通信网络的快速增长，使得用电量激增，从而对气候变暖产生极大的负面影响；到2020年，集群系统将消耗的电力资源，比法国、德国、加拿大和巴西目前消耗的电力总量还要多。目前集群系统在节能优化、实现节能计算方面的研究和应用取得了一些成果，但仍有所不足。

数据中心的集群系统的能源主要消耗在以下几个方面：计算、存储、网络设备、电源系统等在工作过程中消耗的能源，这在集群系统能耗占据较大的比重；空调、通风等散热、制冷设备等在工作过程中消耗的能源，这在集群系统能耗有时占据的比重甚至超过了第一类，统计数据显示，有些集群系统的冷却成本竟占了能耗成本的60％到70％左右；其它诸如照明、门禁、办公设备等在工作过程中消耗的能源，由于集群系统常常采用先进的、高度自动化的管理与控制软件，尽量减少人员的参与，这部分能耗占据的比重一般比较小。

对于集群系统而言，目前的这些解决方案存在着以下一些问题：

1、粗粒度的能耗管理。目前对于集群系统的能耗管理粒度不够细致，导致对机房内部的温度调控由于不具有针对性，制冷系统不能按实际设备的需要进行分配，以及总体能源浪费高等问题；

2、高能耗的任务调度与数据部署。数据部署方面大都关注效率、可靠性、一致性以及如何降低存储空间等问题，没有关注不同数据的访问规律，也不考虑能耗问题。

事实上，集群系统中，在执行任务和提供服务时，存在着以下的一些值得关注的情况：

1、系统中不同的数据访问的时段和强度具有很大的差异。有些数据的访问集中在每天8:30～17:30之间，而有些数据则集中在晚上19:00～21:00；有些数据平时访问量很低，但在节假日访问量激增。

2、处于待机状态的服务器的电力消耗常常达到满负荷峰值的60％左右；加上集群系统冷却设备的能耗，集群系统会无谓增加50％～100％的能耗。

发明内容

技术问题：本发明提出一种应用于节能型集群系统的数据重新部署方法，目标是解决节点上部署的数据的不规律导致访问热点的散乱，系统中的大量计算节点利用率较低，特别是部分节点甚至长时间处于待机状态，不能关闭，仍然有能耗，并造成环境的热负荷，相应的制冷系统仍然需要为其降温而造成能耗浪费问题。

技术方案：本发明提出的数据重新部署方法是在环境、设备条件允许的情况下，按数据访问规律将数据、任务以及节点进行聚集，以达到服务器能够波态运行，与服务器协同工作的制冷设备可以精准的进行环境温度控制。

集群系统为了能够承受尖峰时刻的负载，因此在设置时，一般留有空闲余量，并采用备份副本冗余设计策略。传统集群系统的资源平均利用率仅在20％～30％，服务器在80％的时间里是空闲的。处于空闲的节点如果处于待机状态的话，会无谓地浪费能源。

特别是集群系统中各个节点负载时空分布不均，造成温控难以精准掌握，热点与冷点区域分布是散乱，造成现有集群系统的制冷系统不得不基于热力学稳态系统工作，导致有效制冷量不足50％。

本发明的主旨是在环境、设备条件允许的情况下，将散乱分布的数据与任务进行聚集，以达到集群系统中的部分服务器能够被充分利用，而部分服务器处于深度休眠状态甚至关闭状态，与服务器关联的制冷设备也处于待机或关闭状态，从而既保障服务质量，同时达到低能耗的节能目标；方法分为数据重新部署、节点聚集和性能增强三个部分，具体描述如下：

1)假设目前具有基本相似访问规律的数据D_i和D_j分别存在于节点A和B上，系统试图将数据D_i和D_j聚集在一个节点A或者节点B上；

系统首先将所有数据归并入虚拟数据资源池中，并对所有数据的历史访问情况进行审计与比对，并由此按数据访问规律划分为若干个子集合，存在于节点A的D_i和存在于节点B的D_j被归入一个子集合中；