[发明专利]一种集群资源的动态分配方法、装置、设备及存储介质

说明书

本发明公开了一种集群资源的动态分配方法、装置、设备及存储介质。该方法包括：获取多个队列的资源需求信息和资源配置数据，所述资源配置数据包括队列最小资源；根据所述资源需求信息和所述资源配置数据确定所述多个队列的状态；当所述多个队列中的至少一个队列的状态为饥饿模式时，根据所述资源配置数据优先为所述至少一个队列分配资源，其中，所述饥饿模式是队列的可使用资源小于所述队列最小资源。本发明实施例提供的方法能够动态地调整集群资源的分配，从而提高集群资源的利用率。

技术领域

本发明涉及资源管理技术领域，尤其涉及一种集群资源的动态调度方法、装置、设备及存储介质。

背景技术

随着企业业务的不断拓展和多元化，数据也在呈指数型增长。越来越多的公司选择以分布式系统基础架构（Hadoop）生态搭建数据仓库，并在大数据集群上架设了越来越多相对复杂的应用办公场景需求，服务器资源紧跟着越来越紧张。

目前相关企业为防止出现数据与集群资源混乱无序的状态，广泛采用集群的多租户注册资源管理方式，主要通过调整框架另一种资源协调者(Yet Another ResourceNegotiator，Yarn)实现多租户资源管理。

目前的集群资源管理方法无法动态的调度集群资源，造成集群资源的利用率低。

发明内容

本发明实施例提供一种集群资源的动态分配方法、装置、设备及存储介质，能够动态地调整集群资源的分配，从而提高集群资源的利用率。

第一方面，本发明实施例提供一种集群资源的动态分配方法，该方法包括：

获取多个队列的资源需求信息和资源配置数据，资源配置数据包括队列最小资源；根据资源需求信息和资源配置数据确定多个队列的状态；当多个队列中的至少一个队列的状态为饥饿模式时，根据资源配置数据优先为至少一个队列分配资源，其中，饥饿模式是队列的可使用资源小于队列最小资源。

在一种可能的实现方式中，在所述当所述多个队列中的至少一个队列的状态为饥饿模式时，根据所述资源配置数据优先为所述至少一个队列分配资源之前，所述方法还包括：根据所述资源配置数据计算所述可使用资源。

在一种可能的实现方式中，当多个队列中的至少两个队列的状态为饥饿模式时，根据资源配置数据优先为至少一个队列分配资源，包括：根据资源配置数据和至少两个队列的预设优先级为至少两个队列分配资源。

在一种可能的实现方式中，根据资源配置数据和至少两个队列的预设优先级为至少两个队列分配资源，包括：根据至少两个队列的资源配置数据，确定至少两个队列中每个队列的已使用资源比例；当至少两个队列中每个队列的已使用资源比例相等时，获取至少两个队列中每个队列的资源使用量；计算资源使用量和预设优先级的比值，得到至少两个队列的权重；根据至少两个队列的权重从小到大的顺序，为对应的队列依次分配资源。

第二方面，本发明实施例提供了一种集群资源的动态分配装置，该装置包括：获取模块，用于获取多个队列的资源需求信息和资源配置数据，资源配置数据包括队列最小资源；确定模块，用于根据资源需求信息和资源配置数据确定多个队列的状态；分配模块，用于当多个队列中的至少一个队列的状态为饥饿模式时，根据资源配置数据优先为至少一个队列分配资源，其中，饥饿模式是队列的可使用资源小于队列最小资源。

在一种可能的实现方式中，分配模块还用于获取多个队列的资源需求信息和资源配置数据；还用于根据资源配置数据计算可使用资源。

在一种可能的实现方式中，分配模块用于当多个队列中的至少两个队列的状态为饥饿模式时，根据资源配置数据和至少两个队列的预设优先级为至少两个队列分配资源。