[发明专利]一种基于多维效用合并的集群程序调度方法

说明书

本发明涉及一种基于多维效用合并的集群程序调度方法，该方法包括以下步骤：(1)分别获取集群中每个节点的处理器、磁盘读/写、内存和网络带宽五个资源维度上的空闲资源信息，并周期性的向预测器报告当前节点上的空闲资源信息；(2)分别得到程序在单个资源维度上在不同资源限制点下的性能，并拟合分效用函数，得到程序对每个资源维度性能的变化函数；(3)利用多维效用合并将分效用函数合并为一个总效用函数，逐个将步骤(1)中的空闲资源信息代入总效用函数，得到总效用值，确定最优执行环境；(4)调度该程序至最优执行环境。

技术领域

本发明属于分布式并行计算的技术领域，尤其涉及一种基于多维效用合并的集群程序调度方法。

背景技术

数据中心作为云计算的基础设施和用户与云服务运营商可以共赢的载体，随着网络访问非本地计算服务的增加，已经从概念走向成熟。但是数据中心资源利用率一般不足30％。而低资源利用率导致较低能效，2012年纽约时报的调查显示数据中心浪费大量能耗，只有总能耗的6％到12％用作了有效的计算。如何提高资源利用率成为云计算运营商需要考虑的关键问题，从商业角度和学术角度都备受关注。

负载聚合(Workload Consolidation)是提高数据中心资源利用率的重要手段，负载聚合是把多个程序分配到一个计算节点上，从而使服务器节点提高计算、存储、磁盘I/O等资源的利用率，并可以关闭更多空闲节点以降低能耗开销。近期调查显示随着计算需求的增加，超过60％的数据中心运营商会采用负载聚合。负载聚合可以在程序性能与系统资源利用率之间实现权衡。

在数据中心当前通用的负载聚合方法是在做调度决策时只考虑处理器和内存资源，根据程序对这两种资源的占用实现调度，从而达到集群中处理器和内存资源的负载均衡。但是，目前在数据中心运用的负载聚合方法存在一定的不足。这种方法忽略了程序对磁盘和网络带宽资源的占用情况，往往导致磁盘密集或网络带宽密集程序较低的性能。

综上所述，需要一种更适用于数据中心的调度方法策略能够考虑处理器、内存、磁盘带宽、网络带宽等多种资源，保证各种特征的程序的性能。

发明内容

本发明为了解决上述问题，提供一种基于多维效用合并的集群程序调度方法。本发明的调度方法针对每个程序分别拟合程序处理器、磁盘读/写、内存和网络带宽五个资源维度上的敏感度分效用函数，然后将分效用函数合并得到总效用，总效用值最大的节点即为程序要映射的节点，从而更好的保证各种特征的程序的性能。

为了实现上述目的，本发明采用如下一种技术方案：

一种基于多维效用合并的集群程序调度方法，该方法包括以下步骤：

(1)分别获取集群中每个节点的处理器、磁盘读/写、内存和网络带宽五个资源维度上的空闲资源信息，并周期性的向预测器报告当前节点上的空闲资源信息；

(2)分别得到程序在单个资源维度上在不同资源限制点下的性能，并拟合分效用函数，得到程序对每个资源维度性能的变化函数；

(3)利用多维效用合并将分效用函数合并为一个总效用函数，逐个将步骤(1)中的空闲资源信息代入总效用函数，得到总效用值，确定最优执行环境；

(4)调度该程序至最优执行环境。

进一步的，所述步骤(1)的具体步骤为：

(1-1)在集群中的每一个节点上分别获取当前节点的处理器、磁盘读/写、内存和网络带宽五个资源维度上的资源使用信息；

(1-2)根据步骤(1-1)中的资源使用信息分别计算集群中每个节点的单个资源维度上的空闲资源信息；

(1-3)周期性的向预测器报告当前节点上的空闲资源信息。