[发明专利]Hadoop集群的资源分配方法、装置、设备及介质

说明书

本申请实施例提供了一种Hadoop集群的资源分配方法、装置、设备及介质，涉及人工智能技术领域，包括：分别对Hadoop集群的每个任务队列的任务队列信息进行特征提取，得到每个任务队列的特征向量，调用资源预测模型分别对每个任务队列的特征向量进行预测处理，得到每个任务队列的资源预测结果，根据每个任务队列的资源预测结果确定每个任务队列的目标资源，并根据每个任务队列的目标资源进行资源分配。可以快速精准的对Hadoop集群中各个任务队列进行资源分配。本申请可以涉及区块链技术，如可将任务队列的目标资源写入区块链中。本申请还可以涉及数字医疗技术领域，如可将Hadoop集群用于执行医疗领域的任务。

技术领域

本申请涉及大数据技术领域，尤其涉及一种Hadoop集群的资源分配方法、装置、设备及介质。

背景技术

在大数据技术领域中，可以通过Hadoop集群对电商、金融、工业、通信、医疗等各个领域提供海量数据的存储、查询和分析功能。为了满足各种应用场景下的业务需求，需要给Hadoop集群中的各个任务队列分配资源。现有方式中，可以通过人工的方式给Hadoop集群中的各个任务队列进行资源分配。然而，由于Hadoop集群中任务队列的数量较多，人工进行资源分配的方式效率较低。或者由于运维人员的能力有限，无法快速精准的对各个任务队列进行资源分配，造成资源浪费。

发明内容

本申请实施例提供了一种Hadoop集群的资源分配方法、装置、设备及介质。可以通过资源预测模型确定Hadoop集群中各个任务队列的目标资源，并根据各个任务队列的目标资源进行资源分配，可以快速精准的对各个任务队列进行资源分配。

第一方面，本申请实施例提供了一种Hadoop集群的资源分配方法，该方法包括：

获取Hadoop集群中每个任务队列的任务队列信息，并分别对每个任务队列的任务队列信息进行特征提取，得到每个任务队列的特征向量；

调用资源预测模型分别对每个任务队列的特征向量进行预测处理，得到每个任务队列的资源预测结果；其中，每个任务队列的资源预测结果用于指示每个任务队列与多个候选资源的匹配度；

根据每个任务队列的资源预测结果确定每个任务队列的目标资源，并根据每个任务队列的目标资源进行资源分配。

第二方面，本申请实施例提供了一种Hadoop集群的资源分配装置，该装置包括：

特征提取单元，用于获取Hadoop集群中每个任务队列的任务队列信息，并分别对每个任务队列的任务队列信息进行特征提取，得到每个任务队列的特征向量；

预测处理单元，用于调用资源预测模型分别对每个任务队列的特征向量进行预测处理，得到每个任务队列的资源预测结果；其中，每个任务队列的资源预测结果用于指示每个任务队列与多个候选资源的匹配度；

资源分配单元，用于根据每个任务队列的资源预测结果确定每个任务队列的目标资源，并根据每个任务队列的目标资源进行资源分配。

第三方面，本申请实施例还提供了一种Hadoop集群的资源分配设备，包括输入接口、输出接口，该Hadoop集群的资源分配设备还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，该计算机存储介质存储有一条或多条指令，该一条或多条指令适于由处理器加载并执行第一方面所述的方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序指令，计算机程序指令被处理器执行时，用于执行第一方面所述的方法。