[发明专利]一种面向数据处理的能耗优化数据集分配方法

说明书

技术领域

本发明属于数据中心能耗优化技术领域，更具体地，涉及一种面向数据处理的能耗优化数据集分配方法。

背景技术

当前典型数据中心包含成千上万的计算机节点，这些节点包括计算机节点、网络节点和存储节点。其应用场景、配置方式、使用模式和负载行为有很大的不同。但是，各种数据中心却面临着同一个函待解决的难题：惊人的能耗问题。据美国环境保护署2007年提交给美国国会的报告指出，2006年美国全国服务器和数据中心消耗约610亿度电，电费开销为45亿美元。McKensey公司预测到2020年数据中心将成为第一大二氧化碳排放行业。

由于数据中心的能耗问题日益严重，引发了学术界对数据中心计算机系统能耗的研究热潮。数据中心能耗优化方案更是涉及到系统的多个层次和多个技术领域。现如今，优化数据中心能耗最主要的手段是使用虚拟化技术进行服务器的整合。虚拟化技术允许多个操作系统实例逻辑上独立运行在相同的硬件资源上，其主要实施手段是利用虚拟机监控器统一管理和调度虚拟机，在硬件资源上执行相应的服务。

然而，现阶段大多数数据中心能耗优化研究工作都集中在数据中心虚拟机的计算资源调度和分配方案上，并从数据中心数据集的分配角度考虑。事实上，在数据中心中由于海量数据的迁移成本太高，因此数据分布很大程度上决定了计算资源的分布。大多数情况下，数据中心的数据集是随机的分布在所有服务器节点上的。但是，真实情况下，数据集的访问频率是完全不同的，基本满足重尾分布定律，既是20%的数据占有80%的访问频率。所以为了保证服务质量（Quality of Service，简称QoS)，使得用户访问不受延迟或丢弃，基于数据集在存储服务器上的随机分配，在任何情况下都开启全部的服务器，而大部分存储服务器处于低负载甚至空闲，导致巨大的能耗问题以及各存储服务器负载不均衡问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种面向数据处理的能耗优化数据集分配方法，其目的在于，解决现有数据中心数据集在存储服务器上的随机分配导致极大能源浪费和负载不均衡的技术问题，在保证QoS的前提下，将用户的请求数据集按照本发明提供的分配方案部署到服务器节点上，从而达到优化数据中心处理能耗的目的。

为实现上述目的，按照本发明的一个方面，提供了一种面向数据处理的能耗优化数据集分配方法，包括以下步骤：

（1）获取待分配数据集的属性值，以得到第一属性值集合A；

（2）获取数据中心服务器的属性值，以得到第二属性值集合B；

（3）把第一属性值集合A中待分配数据集按照其IOPS属性值从大到小依次排序形成待分配数据集队列，把第二属性集集合B中所有数据中心服务器也按照其IOPS属性值从大到小依次排序构成待分配服务器队列；

（4）从待分配数据集队列M中选取出将进行分配的当前数据集，同时根据已分配服务器队列L和待分配服务器队列N中队列元素的不同情况选取出对应的当前数据中心服务器，将该当前数据集分配到当前数据中心服务器中，并重新计算当前数据中心服务器的平均CPU使用值、平均IOPS使用值、以及平均内存使用值；

（5）将获取的当前数据中心服务器的平均IOPS使用值、平均CPU使用值、以及平均内存使用值，乘以该数据中心服务器已分配数据集列表中已分配数据集的总数，得到总IOPS、CPU、内存使用值，与数据中心服务器的峰值IOPS、峰值CPU和峰值内存进行比较，根据比较结果将数据集部署到符合条件的数据中心服务器上，当所有待分配数据集都分配完成或者所有数据中心服务器都分配完成，过程结束。

优选地，分配数据集的属性包括：存储容量、内存容量、数据集对CPU的需求值、IOPS以及访问频率，数据中心服务器的属性包括存储容量、内存容量、CPU对数据集的处理能力、以及IOPS。

优选地，步骤（3）包括以下子步骤：

（3-1）将第一属性值集合A中的待分配数据集按照其IOPS属性从大到小进行排序，以形成待分配数据集队列M；

（3-2）将第二属性值集合B中的数据中心服务器按照其IOPS属性从大到小依次排列，以形成待分配服务器队列N；