[发明专利]一种大规模集群中任务运行情况的分析方法

说明书

技术领域

本发明涉及大数据技术领域，具体来说，涉及一种大规模集群中任务运行情况的分析方法。

背景技术

大数据技术日新月异；在企业里运行的集群规模也越来越大，集群里的租户越来越多，集群需要运行租户的各种任务就越来越多。一个集群里的任务的种类比较多，有数据收集任务、数据清洗任务、数据装载任务、数据计算任务、数据汇聚任务、数据分析任务、数据导出任务、数据查询任务、大数据平台监控任务等等，这么多的任务类型，每种任务类型又有几个或者十几个、甚至几十个任务，这么多的任务在集群中运行，而且这么多的任务基本上是周期性的任务，有15分钟、小时、天等粒度的，每天有这么多任务的运行结果情况，现在缺少一种对这些任务运行结果情况（包括运行时长、运行结果状态、运行耗费的资源占比、所占CPU、MEM等）的分析方法。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述技术问题，本发明提出一种大规模集群中任务运行情况的分析方法，能够提高集群利用效率。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种大规模集群中任务运行情况的分析方法，包括以下步骤：

S1 集群给各类任务分配资源，使各类任务在集群中运行；

S2 将所有任务的正常结束状态和非正常结束状态，存入数据库；

S3 从数据库中将所有任务的运行结果数据进行不同维度的分析；

S4 把分析出来的各种维度数据输出到关联处理流程，结合集群资源数据和所有任务的结果维度数据，输出资源使用策略的最佳处理；

S5 集群得到资源使用策略的最佳处理后，人工或者自动指导下一周期的任务运行所需要分配的集群资源。

进一步的，S3中进行的不同维度分析包括但不限于运行时间维度、状态维度和资源维度分析。

本发明的有益效果：通过该分析方法，让集群所有者方便且直观地了解当前集群里的各任务运行情况，以及根据任务运行情况得到更佳的集群资源分配策略，有利于提高集群资源的利用率，从而节省集群资源的投资成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例所述的一种大规模集群中任务运行情况的分析方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，根据本发明实施例所述的一种大规模集群中任务运行情况的分析方法，包括以下步骤：

S1 集群给各类任务分配资源，使各类任务在集群中运行；

S2 将所有任务的正常结束状态和非正常结束状态，存入数据库；

S3 从数据库中将所有任务的运行结果数据进行不同维度的分析；

S4 把分析出来的各种维度数据输出到关联处理流程，结合集群资源数据和所有任务的结果维度数据，输出资源使用策略的最佳处理；

S5 集群得到资源使用策略的最佳处理后，人工或者自动指导下一周期的任务运行所需要分配的集群资源。

进一步的，S3中进行的不同维度分析包括但不限于运行时间维度、状态维度和资源维度分析。

本发明的有益效果：通过对大数据集群里的各种任务运行结果情况进行分析，让集群所有者方便且直观地了解当前集群里的各任务运行情况，以及根据任务运行情况得到更佳的集群资源分配策略，有利于提高集群资源的利用率，从而节省集群资源的投资成本。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。