[发明专利]资源处理方法以及装置

说明书

本说明书实施例提供资源处理方法以及装置，其中所述资源处理方法包括：获取历史任务的任务处理信息，根据所述任务处理信息对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果，根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，所述目标聚类结果为所述聚类结果之一，根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种资源处理方法。本说明书一个或者多个实施例同时涉及一种资源处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序。

背景技术

在互联网领域，各个领域的企业/机构都在追求数字化转型，主要是通过购买大数据平台类产品或者使用开源的大数据平台，以支撑海量数据的分析处理任务。

由于企业/机构的数据量级较大，不同任务的资源需求也可能存在较大差异，例如，大任务计算耗时可以达到小时、天级别，小任务可能只需要几分钟，而大数据平台的整体计算资源是有限的，目前的资源调度模块无法自动合理分配资源，当大数据平台上的任务比较多时，如果大任务在执行过程中独占资源，那么小任务就必须要等待。因此，小任务的响应时间难以得到保证，另一方面资源的利用效率也不高，进而会产生整体任务运行时间过长甚至无法完成的问题，从而严重影响数据结果的生成、影响企业/机构日常的经营分析，要花费大量人力去调整、优化。

发明内容

有鉴于此，本说明书实施例提供了一种资源处理方法。本说明书一个或者多个实施例同时涉及一种资源处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种资源处理方法，包括：

获取历史任务的任务处理信息，根据所述任务处理信息对所述历史任务进行聚类，生成与各预设任务类别分别对应的聚类结果；

根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，所述目标聚类结果为所述聚类结果之一；

根据所述待消耗资源值对资源池中的资源进行组别划分，生成与所述目标聚类结果对应的资源组，并建立所述目标聚类结果对应的预设任务类别与所述资源组间的关联关系。

可选地，所述根据所述聚类结果包含的历史任务对应的数据处理量值以及资源消耗值，确定目标聚类结果对应的待消耗资源值，包括：

根据所述聚类结果包含的历史任务分别对应的数据处理量值以及资源消耗值，确定所述聚类结果中各历史任务对应的数据处理量均值以及第一资源消耗均值；

根据所述数据处理量均值和所述第一资源消耗均值确定目标聚类结果对应的待消耗资源值。

可选地，所述根据所述聚类结果包含的历史任务分别对应的数据处理量值以及资源消耗值，确定所述聚类结果中各历史任务对应的数据处理量均值以及第一资源消耗均值，包括：

确定每个聚类结果包含的历史任务的数量，以及每个历史任务分别对应的数据处理量值以及资源消耗值；

根据所述历史任务的数量以及所述数据处理量值，计算每个聚类结果中各历史任务对应的数据处理量均值；

根据所述历史任务的数量以及所述资源消耗值，计算每个聚类结果中各历史任务对应的第一资源消耗均值。

可选地，所述根据所述数据处理量均值和所述第一资源消耗均值确定目标聚类结果对应的待消耗资源值，包括：

根据所述数据处理量均值和所述第一资源消耗均值，计算每个聚类结果中处理单位比特数据所需的第二资源消耗均值；