[发明专利]资源管理的方法和装置

说明书

本申请提供了一种资源管理的方法和装置。该方法包括：检测目标任务的资源状态，该目标任务属于第一任务子集，该第一任务子集包括多个任务，该第一任务子集的多个任务相互关联，该第一任务子集和第二任务子集属于第一任务集合，该第二任务子集包括至少一个任务，且该第二任务子集中的该至少一个任务中的每个任务相互不关联；根据该目标任务的资源状态，进行资源管理。本申请实施例能够动态调整资源，从而提高了资源利用率。

技术领域

本申请涉及大数据领域，并且更具体地，涉及资源管理的方法和装置。

背景技术

数据逐步成为推动商业模式改变与创新的关键因素，在数据分析的初始阶段强调数据的获取，进入到发展阶段后，数据逐渐成为公司领导人和决策人员制定决策的重要依据，演进到成熟阶段，数据成为公司内部提升效率，增进业务技能的重要因素，并开始出现专门的数据处理平台，发展到现在，数据更加体现出其商业价值，形成了多种围绕数据为中心的商业生态系统。

数据分析过程会因为数据分析人员的已有技能和业务习惯，不同分析人员会使用不同的分析语言，例如应用语言(Java、R、Python)、结构化查询语言(Structured QueryLanguage，SQL)以及图形用户界面(Graphical User Interface，GUI)拖拽等。

例如，传统方案中美国公司(Databricks)的管道(Pipeline)支持Scala语言，在执行资源分配时，采用贪婪式分配，即预先定义好需要的资源，例如，中央处理器(CentralProcessing Unit，CPU)或分配信息内存(Memory，MEM)，那么在执行任务过程中，资源是独占的，而且无论Pipeline的业务逻辑是怎样的，资源分配时任务都是固定的，造成了资源利用率较低。

发明内容

本申请实施例提供一种资源管理的方法和装置，能够提高资源利用率。

第一方面，提供了一种检测目标任务的资源状态，该目标任务属于第一任务子集，该第一任务子集包括多个任务，该第一任务子集的多个任务相互关联，该第一任务子集和第二任务子集属于第一任务集合，该第二任务子集包括至少一个任务，且该第二任务子集中的该至少一个任务中的每个任务相互不关联；根据该目标任务的资源状态，进行资源管理。

通过检测目标任务的资源状态，根据目标任务的资源状态是否满足目标任务的资源需求进行资源管理，也就是说，能够动态调整资源，从而提高了资源利用率。

在一些可能的实现方式中，该根据该目标任务的资源状态，进行资源管理包括：根据该目标任务的资源状态，确定该目标任务对应的资源是否满足该目标任务的资源需求；在该目标任务对应的资源不满足该目标任务的资源需求时，为该目标任务获取其他任务的资源。

这样系统能够对资源进行合理调配，更进一步提高资源利用率。

在一些可能的实现方式中，该在该目标任务对应的资源不满足该目标任务的资源需求时，为该目标任务获取其他任务的资源包括：从该第二任务子集中获取第二任务对应的资源，该第二任务为该第二任务子集中的资源空闲的任务；将该第二任务对应的资源作为该目标任务的资源。

目标任务在资源不足时，从第二任务子集中寻找资源空闲的任务，进而充分利用该空闲任务的资源，提高了资源利用率。

在一些可能的实现方式中，该在该目标任务对应的资源不满足该目标任务的资源需求时，为该目标任务获取其他任务的资源包括：在该目标任务对应的资源不满足该目标任务的资源需求，且该第二任务子集中不存在第二任务时，从该第一任务子集中获取第三任务对应的资源，其中，该第二任务为该第二任务子集中的资源空闲的任务，该第三任务为该第一任务子集中的资源空闲的任务；将该第三任务对应的资源作为该目标任务的资源。