[发明专利]基于机器学习的面向资源管理的云任务细粒度分类方法

权利要求书

1.一种基于机器学习的面向资源管理的云任务细粒度分类方法，其特征在于：利用机器学习K-means算法，按照任务周期内对资源的动态需求特征将每个云计算任务不同的时间段进行聚类为CPU密集型、内存密集型和I/O密集型，针对I/O密集型分段再进一步分为读密集型、写密集型，实现任务更细粒度分类，通过分析任务调度时序关系找出任务间的依赖关系，据此实现更优的数据中心任务与资源调度方案，提高数据中心能效；

包括以下几个步骤：

步骤1，对云计算任务分段：将云计算任务按时间周期均分为N段，则每个任务小分段时间长度为T/N，其中T为云任务总周期，以每个小分段中点时刻T_j(j＝1，2…N)代表该小分段时间节点；

步骤2，利用K-means算法进行聚类：以每个任务分段内对CPU、I/O、内存需求量和分段时间节点为特征，使用K-means算法进行聚类，将每个任务分段划分为CPU密集型、I/O密集型或内存密集型；

步骤3，合并类别相同的小任务分段：将步骤2中的聚类结果按照任务小分段进行合并，即将所属同一子类的时间节点T_j相邻的任务小分段合并成大的任务周期段[T_l，T_r]，其中T_l表示大任务周期段起始时间节点、T_r表示大任务周期段结束时间节点，大的任务周期段所属类别即任务小分段所属类别；

步骤4，细分I/O密集型任务：对于类别为I/O密集型的任务周期段，统计该周期段内读操作次数为N_r、写操作次数为N_w，比较读和写操作次数，若即将该周期段定为读密集型，若/则定义为写密集型；

步骤5，利用任务调度时序关系生成有向无环图DAG：根据数据中心集群跟踪数据中任务调度的时序关系，若两个任务调度时间有重合则两个任务节点相互独立，若无重合则后开始执行的任务必须等到先开始执行的任务执行完成之后再开始执行；DAG表示为DAG＝{W，E}，W＝{W_i，i＝1,2…n}为任务集合，E＝{(w_i，w_j)1＜i，j＜n}表示任务依赖集，即任务执行的时序关系，表明任务w_j在任务w_i执行完成之后才能被调度执行，有向边w_i→w_j表示任务w_i是任务w_j的前驱节点，即pre(w_j)＝w_i；任务w_j是任务w_i的后继节点，即suc(w_i)＝w_j。

2.根据权利要求1所述方法，其特征在于，定义云计算任务集为W＝{W_i，i＝1.2.3…}，任一任务表示为W_i＝(C_j，O_j，M_j，T_j)，j＝1.2…N，其中，T_j表示该任务小分段的时间节点，C_j表示任务W_i在T_j小分段内的CPU需求量，O_j表示任务W_i在T_j小分段内的I/O需求量，M_j表示任务W_i在T_j小分段内的内存需求量。

3.根据权利要求1所述方法，其特征在于，对于任一任务W_i＝(C_j，O_j，M_j，T_j)，K-means聚类算法具体步骤如下：

步骤2.1，参数归一化处理，由于C_j，O_j，M_j三个指标参数单位不一致，需进行归一化处理：

/

使其分别归一化为[0,1]之间，聚类时采用归一化后的指标W_i＝(C_j′，O_j′，M_j′，T_j)；

步骤2.2，选取初始聚类中心，定义聚类中心V＝{V_h|V_h＝(V_Ch，V_0h，V_Mh)，h＝1,2,3}，初始化三个聚类中心为C_j，O_j，M_j三个指标参数各自的平均值：

步骤2.3，任务小分段划分，采用欧式距离计算任务W_i各小分段与聚类中心V_h的距离：

计算每个任务小分段到三个聚类中心的距离，即相异度，并划归入相异度最低的那个聚类中心所在子类中；

步骤2.4，更新聚类中心，通过计算已得到子类中所有任务小分段各指标参数的算术平均数，重新计算三个聚类中心：

其中，N(Φ_hk)为三个子类集合Φ_hk的任务小分段个数，T_j∈Φ_hk表示划分至三个子类集合中的任务小分段；

步骤2.5，重新聚类，按照新的聚类中心重复步骤3，将任务小分段集中的全部数据重新进行聚类；

步骤2.6，重复步骤2.4-步骤2.5，损失函数采用类内误差平方和准则函数：

当损失Cost值基本稳定或达到最大迭代值时聚类迭代终止；

步骤2.7，输出结果，输出每个任务小分段T_j所处类别。