[发明专利]一种基于非监督特征学习的主机负载预测方法

说明书

技术领域

本发明主要针对云计算环境中的主机负载变化剧烈、噪声大等特点，提出了一种主机负载预测的方法。

背景技术

随着云计算技术的迅速发展，基础设施即服务(Infrastructure as a Service，IaaS)成为其重要的服务模式，用户可以从IaaS提供商处按需租用包括服务器、网络、存储等资源。在IaaS环境中，通常实施虚拟机(Virtual Machine，VM)迁移整合操作来满足负载均衡、自动伸缩、绿色节能、保证服务质量等方面的需要。

在云计算数据中心，为了能够及时的应对各种复杂情况，我们需要对数据中心中各种资源的情况进行预测而不是等到异常发生时再采取相应的措施。在云计算数据中心，最重要的几种资源分别是CPU资源、Memory资源以及disk资源。在这些资源中，CPU资源的使用情况反应了主机上应用程序的运行情况，因此在进行虚拟机调度时，CPU资源是首先要考虑的资源。当某台主机的负载超过一定值时，运行在该主机上的虚拟机的性能必然受到影响，因此此时选择将此主机上的一些虚拟机迁移到其他空闲主机上，从而减轻主机的负载；当某些主机上的负载低于一定值时，说明这些主机处于空闲状态，可以将这些主机上的虚拟机合并到其他主机上，然后关闭那些不用的主机，从而达到降低能耗的目的。

目前存在的一些主机负载预测方法主要针对网格(Grid)计算中主机的负载情况，但是在云计算环境中主机的类型各不相同，主机上运行的任务也各部相同，这就导致云环境中主机负载变化情况更加复杂，因此之前的一些方法并不能很好的对云环境中主机的负载情况进行预测。

为了解决现有技术中存在的问题，本文提出了一种基于非监督特征学习(Unsupervised Feature Learning)的方法先自动对负载数据特征提取，将学习到的特征输入到softmax分类器中，分类的结果就是预测结果。

发明内容

本发明的目的：针对现在云计算中心将各种类型的主机进行集中化的管理，统一提供给各种类型的用户使用，导致云计算环境下，各台主机上运行的任务各不相同，其负载的变化情况更加复杂的情况，提出了一种能够精确预测未来一段时间内负载变化情况的方法，为下一步的虚拟机调度，资源综合管理奠定了基础。

针对现有技术中存在的问题，本发明提出了一种新的主机负载预测方法，能够有效的对未来一段时间内的主机负载进行预测，整个系统由以下两个主要模块组成：

模块一、利用非监督特征学习(Unsupervised Feature Learning)的方法对历史窗口中的数据进行特征提取，得到一种对输入数据更高层的表达。

模块二、将要需要预测的时间段分成若干连续相等的小时间段，预测这些时间段中的平均负载。预测的主要方法是将模块一中学到特征作为模块二中softmax分类器的输入，分类器的输出结果即预测的负载。

对于模块一，非监督特征学习是一种对输入数据高层特征提取的方法，已经成功的在手写数字识别，自然语言处理等领域取得了成功的应用。在本模块中，我们采用的非监督特征学习的方法是一个稀疏自编码神经网络。网络的输入是一个未标记的数据集合其中每个表示一个历史窗口中的数据。整个网络的架构如图1所示，其中输入数据为x，重构的结果其中W⁽ⁱ⁾，b⁽ⁱ⁾为第i层权重系数和偏置项，f为激活函数，其具体形式为：

f(z)=11+exp(-z)]]>

图中的中间层的输出就是输入的另一种表达。为了消除中间层单元的数量大于输入层数量的限制，在中间层加入了稀疏性的限制。在加入了稀疏性的限制后，优化问题变为通过最小化代价函数J(W，b)，求解W和b，J(W，b)的具体形式为：