[发明专利]资源管理方法、装置及计算机可读存储介质

说明书

本公开提供了一种资源管理方法、装置及计算机可读存储介质，属于通信技术领域。方法包括：确定当前集群的剩余资源量，以及，确定当前集群对应的回归预测模型；根据剩余资源量和回归预测模型，确定作业集合中的每个作业在每个预设资源分配量下的执行时长，作业集合中包括至少一个待分配资源的作业，每个预设资源分配量之和不大于剩余资源量；根据每个作业在每个预设资源分配量下的执行时长，确定每个作业的目标资源分配量，任一作业在任一作业的目标资源分配量下的第一目标执行时长满足预设条件。本公开通过回归预测模型和剩余资源量，为每个作业分配资源，提高了资源利用率。

技术领域

本公开涉及通信技术领域，特别涉及一种资源管理方法、装置及计算机可读存储介质。

背景技术

资源管理是数据处理平台实现快速响应的一项关键技术，是提升资源利用率、优化性能的核心手段。资源管理的基本原理是：管理服务器负责整个集群的资源；当集群中接收到新的作业时，为待运行的作业分配资源。

现有技术中，管理服务器为待运行的作业分配资源时，根据待运行的作业的性能需求，从历史运行的作业的性能需求中选择与待运行的作业的性能需求相似的作业，确定选择的作业的资源配置量，为待运行的作业分配该资源配置量。例如，资源为内存，待运行的作业为应用作业A，应用作业A的性能需求为400每秒查询率(Query Per Second，QPS)；经相关性分析，应用作业B与应用作业A的性能需求相似，且应用作业B在8Cores/12GB内存下的性能是450；则管理服务器给应用作业A分配的资源为8Cores/12GB内存。

在实现本公开的过程中，发明人发现现有技术至少存在以下问题：

上述方法中是根据作业的相似和性能需求的相似性进行资源分配，然而根据以上例子可知，为应用作业A分配Cores/12GB内存的资源，应用作业A能够达到450的性能，而应用作业A的性能需求为400，由此可见，上述方式为作业分配资源会导致资源冗余和资源利用率低。

发明内容

为了解决现有技术的问题，本公开实施例提供了一种资源管理方法、装置及计算机可读存储介质。所述技术方案如下：

第一方面，本公开实施例提供了一种资源管理方法，所述方法包括：

确定当前集群的剩余资源量，以及，确定所述当前集群对应的回归预测模型，所述回归预测模型用于指示资源量和执行时长之间的关系；

根据所述剩余资源量和所述回归预测模型，确定作业集合中的每个作业在每个预设资源分配量下的执行时长，所述作业集合中包括至少一个待分配资源的作业，所述每个预设资源分配量之和不大于所述剩余资源量；

根据所述每个作业在每个预设资源分配量下的执行时长，确定所述每个作业的目标资源分配量，任一作业在所述任一作业的目标资源分配量下的第一目标执行时长满足预设条件，所述预设条件为所述第一目标执行时长小于预设时长，或者，所述第一目标执行时长与所述任一作业在指定资源分配量下的执行时长之差不大于预设阈值，所述指定资源分配量为所述每个预设资源分配量中，大于所述目标资源分配量且与所述目标资源分配量之差最小的资源分配量；

根据所述每个作业的目标资源分配量，为所述每个作业分配资源。

在本公开实施例中，管理服务器基于回归预测模型和剩余资源量，确定作业集合中的每个作业的目标资源分配量，根据每个作业的目标资源分配量，为每个作业分配资源。并且，任一作业在该任一作业的目标资源分配量下的第一目标执行时长满足预设条件，该预设条件为第一目标执行时长小于预设时长，或者，第一目标执行时长与任一作业在指定资源分配量下的执行时长之差不大于预设阈值，指定资源分配量为每个预设资源分配量中大于目标资源分配量且与目标资源分配量之差最小的资源分配量。由此可见，本公开实施例中，为每个作业分配的目标资源分配量均能保证作业的执行时长达到要求，从而实现资源分配的智能化，提高了资源的利用率。