[发明专利]一种能耗感知的云计算服务器资源在线管理方法和系统

说明书

技术领域

本发明涉及一种实现提高云计算服务器资源管理和节能效率的方法和系统，具体为一种能耗感知的云计算服务器资源在线管理方法和系统，属于计算机高性能计算领域。

背景技术

随着互联网经济的进一步繁荣，数据中心的规模以惊人的速度扩张，特别是云计算和大数据的提出，数据中心的规模得到了空前的发展，如何对数据中心的资源(特别是服务器)进行高效管理是一个具有挑战性的问题。同时，数据中心在消耗大量能源的同时，也带来了不容忽视的碳排放量。因此，设计高效合理的服务器资源控制方法和系统对整个数据中心的资源管理，以及降低数据中心的能耗、减少运营成本、减少能源消耗对环境的污染都具有十分重要的意义。

虚拟化技术(如VMware、Xen和Microsoft Virtual Servers)通过灵活的资源管理、在线迁移等技术，为高效地管理数据中心的服务器资源和能耗提供了一条可行路径。这些虚拟化技术允许在一台物理服务器上生成多台虚拟机(Virtual Machine,VM)，在每台VM上面可以运行不同的操作系统和应用，同时所有的VM共享底层的硬件资源，以达到提高服务器资源利用率的目的，因此当前数据中心纷纷采用虚拟化技术来搭建云计算服务器。然而，虚拟化技术在给数据中心的管理带来好处的同时，也面临着诸多挑战。首先，由于硬件资源(如CPU、内存和I/O硬盘等)的有限性，使得共享资源的VM之间存在着性能干涉的问题。因此，云计算服务提供商的首要任务是保证应用的服务级别协议SLAs(如响应时间、吞吐量等)。其次，随着能源成本的增长，如何在不降低服务性能的同时减少云计算服务器的耗电量成为高性能计算研究的热点问题。最后，现代化数据中心规模和应用复杂度的不断增加给系统管理员提出了一个严峻的挑战，即如何在尽量减少人为对数据中心干涉的基础上，最大可能地实现数据中心的自主化管理。

目前，已经有部分针对云计算环境下的解决方案被提出，用来保证云环境下应用的性能和服务器的耗电量。相比于基于机器学习的资源管理方案，基于控制理论的方案可以从理论层面上保证控制系统的稳定性和控制器的收敛性，因此成为了一种流行的云计算服务器资源管理方法。但是基于控制理论的方案在设计各自控制器时，都不同程度存在依赖于所建立模型精度的问题。如果把虚拟Web服务器系统看作为一个时不变系统，那么可以用离线的系统辨识方法来建立系统模型，但是这种方法所建立的模型是基于特定负载的，并不适用于动态负载情况下的在线资源管理。并且，已有的控制方案大部分为确定性控制，其最大缺点就在于在建立系统模型时没有考虑系统噪音和未知扰动的存在。依赖于在线估计器可以稳定地提供精准的模型参数给控制器这一假设。但是，该假设往往并不成立，因为由于云计算服务器系统的复杂性，通常采用线性化方法进行建模，在建模过程中真实云计算服务器中的非线性因素往往被忽略(如计算机系统资源的有限性，并受限于硬件自身的制造工艺；突发性Web负载可以造成系统输出端的未知波动；计算机内部处理过程的随机性等等)。因此，当突发性的Web负载引起系统输出端的严重扰动时，在线估计器的性能会变得不准确，导致控制器做出错误的控制选择)，在某些情况下，甚至导致应用的响应时间出现震荡现象。

发明内容

本发明针对现有技术中存在的上述问题，提供一种能耗感知的云计算服务器资源在线管理方法和系统，能够根据网络负载的动态变动，对虚拟机的资源分配量进行自适应调整，从而保证运行在虚拟机上Web应用性能的同时，也可以有效降低物理服务器的耗电量，从而起到对云计算服务器能耗和性能在线控制的效果。

本发明提供一种能耗感知的云计算服务器资源在线管理方法，该方法包括负载均衡控制和能耗控制两部分协同运作；

所述负载均衡控制通过自适应调整分配给不同虚拟机的资源量来维持各虚拟机之间的负载均衡，进而使所有虚拟机可以得到近似一致的响应时间，具体包括如下步骤：

步骤101：自动采集得到运行于云计算服务器各个虚拟机上的Web应用的响应时间信息和云计算服务器分配给每个虚拟机的实时资源量大小；

步骤102：计算得到每个虚拟机所需的响应时间信息；

步骤103：对负载均衡问题进行建模，采用系统辨识的方法对响应时间和资源分配量之间的复杂关系进行建模；

步骤104：采用在线训练方法对模型参数进行实时更新；

步骤105：将负载均衡控制问题转化为鲁棒性动态优化控制问题，以此来建立能够反映网络负载动态变化的在线系统模型；

步骤106：采用带有随机策略的自适应控制算法进行求解；