[发明专利]基于机器学习的面向资源管理的云任务细粒度分类方法

说明书

本发明提出一种基于机器学习的面向资源管理的云任务细粒度分类方法，该方法利用机器学习K‑means聚类算法，按照任务周期内对资源的动态需求特征，将每个云计算任务不同的时间段进行聚类，实现任务从任务周期角度进行细化分类。针对I/O密集型任务分段再进一步分为读密集型和写密集型，实现任务更细粒度分类。此外，根据云计算任务调度执行时序关系，得到并以有向无环图DAG表征任务间的依赖关系。通过在云计算任务细粒度分类中考虑任务间的依赖关系实现任务分类结果的强适应性，为数据中心任务调度和资源分配优化提供更准确依据。

技术领域

本发明属于计算机科学技术领域，尤其涉及一种基于机器学习的面向资源管理的云任务细粒度分类方法。

背景技术

近年来随着云计算高速发展，数据中心的效能问题日益突出。为优化数据中心效能，目前主要研究方向是充分考虑数据中心的异构性特征，对任务特性和资源的负载状况进行分析和评估，并据此提出有针对性的任务调度和资源整合策略，以提高数据中心效能。其中数据中心负载任务特征的研究已然受到关注。

对于云计算任务特征，之前很多研究采用了并行、分布式集群中的任务日志建立任务模型从而进行调度性能的评估，例如利用基于计算负载建立任务到达时间的模型以评估联合云环境下资源调度策略的性能；然而这些研究多是单纯地考虑任务的到达时间、运行时间等属性来分析云计算任务特性，对于任务的多样性需求以及同资源的关系考虑较少。随着对数据中心异构性特征的广泛关注，C.Reiss和M.Rasheduzzaman等人综合分析了Google集群跟踪数据，发现机器配置和负载组成随着时间的推移具有高度异构性和动态性，同时指出考虑负载异构性对资源调度的重要性。A K.Mishra等人使用粗粒度的分类方法分析了Google计算集群负载跟踪数据，提出使用K-means聚类算法对云计算任务进行分类的方案并引入了在工作负载规模内定性坐标的断点简化分类。沿着相同的研究方向，A.Chen等人通过检查Google计算集群负载跟踪数据的匿名日志数据来描述其特征，对数据集进行累积分布统计分析，然后对负载特性应用K-means算法，给出谷歌集群负载在工作级别的特性描述。目前对于云计算任务特性研究，主流做法为分析数据中心资源特征和负载任务的资源需求特征，按照云计算任务对CPU、内存和磁盘等不同资源的需求，基于K-means算法将任务聚类为CPU密集型、I/O密集型和内存密集型三种类型。

然而这种云计算任务分类方法仅仅分析了每个独立的任务对于资源的总体需求特征，没有很好的考虑任务在其任务周期内对资源的动态需求，对任务进行分类时没有关注任务在整体任务周期对各类资源需求特征的变化，可能任务在任务周期前段为CPU密集型，后段又变成内存密集型，并且对任务分类过程中也没有考虑任务间的依赖关系，这就导致任务分类结果适应性较差，不能很好的实现资源配置优化以提高数据中心效能。

发明内容

为了解决上述提出的问题，本发明针对目前数据中心依据云计算任务分类结果进行任务调度与资源配置这一问题进行了深入研究，为了解决任务分类忽略了任务周期内对资源动态需求特性和任务间的依赖关系的问题，提出一种基于机器学习的面向资源管理的云任务细粒度分类方法，该方法基于主流的利用k-means算法将任务分为CPU密集型、内存密集型和I/O密集型的分类方法，将云计算任务按照任务周期进一步细化分类，同时将I/O密集型任务细划分为读密集型和写密集型，并且依据调度时序关系得出任务间依赖关系，以更加优化调度和资源分配，提高数据中心能效。

本发明的技术方案是：

1.基于机器学习的面向资源管理的云任务细粒度分类方法，其特征在于：利用机器学习K-means算法，按照任务周期内对资源的动态需求特征将每个云计算任务不同的时间段进行聚类为CPU密集型、内存密集型和I/O密集型，针对I/O密集型分段再进一步分为读密集型和写密集型，实现任务更细粒度分类，通过分析任务调度时序关系找出任务间的依赖关系，据此实现更优的数据中心任务与资源调度方案，提高数据中心能效。

2.主要包括以下步骤：