[发明专利]一种基于聚类特征提取的云计算集群任务负载预测方法

说明书

基于聚类特征提取的云计算集群任务负载预测方法，包括如下步骤：调取并分析云集群数据服务器的历史负载数据，通过聚类算法将相似的历史负载曲线聚合到一个类别中，从而形成K个历史负载曲线聚类；对所述K个历史负载曲线聚类进行分析；采集用户提交的任务一定时间内的初始负载数据，选取DTW距离最短的历史负载曲线聚类为初始负载数据所属的聚类；从初始负载数据所属的聚类中选取与初始负载数据最为接近的历史负载曲线，作为负载预测的依据；通过所述与初始负载数据最为接近的历史负载曲线在所述一定时间区间的负载数据，预测用户提交任务在未来时间区域内的负载。提升云计算服务端资源调度准确性，并降低云计算服务资源的浪费。

技术领域

本发明涉及一种基于聚类特征提取的云计算集群任务负载预测方法。

背景技术

云计算集群通过网络来提供动态易扩展的虚拟化资源,将硬件物理资源进行重组、分配、调度，形成可配置的虚拟计算资源共享池(资源包括网络、服务器、存储、应用软件、服务)，从而为用户提供可用的、便捷的、按需的网络访问，减少用户的管理工作，让用户工作重心转移到业务层面。近年来众多用户已经将自由的服务器应用，转移到公有云服务，用户应用面向的领域各有不同，对于云计算的性能等各方面的需求也不同。

针对用户的不同需求，逐渐衍生了网络服务供应商和客户间的合同约定SLA(Service-Level Agreement)。一个完整的SLA同时也是一个合法的文档，包括所涉及的当事人、协定条款、违约的处罚、费用、双方的义务等。合同在服务核心内容方面，用户和提供商可以在工作负荷、资源使用、数据安全、流量控制、任务调度等方面进行约定。在签订SLA基础上，会对用户的使用情况进行监测，比如系统会收集用户提交任务的执行调度的状态数据。通过分析历史状态数据与SLA所规定的指标，来衡量服务商的服务质量。如果服务商未能达到SLA所规定的指标，将很有可能影响用户的任务执行，按照SLA约定服务商将被处罚。

对于SLA用户提交的任务，服务商如何保障用户任务在执行时保有足够的计算资源，直接关系到用户所提交任务的运行检测数据，能否达到SLA规定的服务质量。用户将任务提交到公有云时，会提供任务的基本信息，服务商如果希望保障SLA，最简单的方法是分配大量的资源如(CPU、内存资源)，以确保任务的执行，但是该解决方案的缺点是很容易造成资源的严重浪费。资源浪费表现为两种形式，一种是开始分配了大量资源，而实际任务根本使用不到；另一种是分配了恒定的资源，任务运行过程中仅一小段时间使用到这部分资源，而其他时间仅需要少量资源维护运行。服务商解决该问题的核心在于需要集群任务负载预测的方案，如果能够在短时间能根据任务的基本信息对该任务后期可能所需要的资源(任务未来的负载)进行预测，从而在不同时间阶段为任务动态分配足额资源，保障任务的顺利执行，又避免资源的严重浪费。

对于负载的预测，本质是时间序列的分析和预测，常见的现有技术为自回归模型(Auto Regression Model)。自回归模型是假设某个时间点的值，与其前序几个时间点的值形成线性依赖。

t，1≤t≤m:为时间索引

m:时间索引的最大值

Y_t，1≤t≤m:时间点t所对应的负载值

(1,Y₁),(2,Y₂),……(t,Y_t),(t+1,Y_t+1),…(m,Y_m):已有的m组负载数据

自回归模型任务Y_t的预测值可以通过Y_t-1,Y_t-2……Y_t-n的线性计算得到，即

其中是前序时间上负载值的参数，c是常量，ε_t是白噪音(符合正态分布)。

自回归模型的本质是收集已有负载值，对后续的负载进行预测。