[发明专利]Hadoop集群的资源分配方法、装置、设备及介质

权利要求书

1.一种Hadoop集群的资源分配方法，其特征在于，所述方法包括：

获取Hadoop集群中每个任务队列的任务队列信息，并分别对所述每个任务队列的任务队列信息进行特征提取，得到所述每个任务队列的特征向量；

调用资源预测模型分别对所述每个任务队列的特征向量进行预测处理，得到所述每个任务队列的资源预测结果；其中，每个任务队列的资源预测结果用于指示每个任务队列与多个候选资源的匹配度；

根据所述每个任务队列的资源预测结果确定所述每个任务队列的目标资源，并根据所述每个任务队列的目标资源进行资源分配。

2.如权利要求1所述的方法，其特征在于，所述根据所述每个任务队列的资源预测结果确定所述每个任务队列的目标资源，包括：

获取所述每个任务队列的优先级；

基于所述每个任务队列的优先级以及每个任务队列的资源预测结果确定所述每个任务队列的目标资源。

3.如权利要求2所述的方法，其特征在于，所述基于所述每个任务队列的优先级以及每个任务队列的资源预测结果确定所述每个任务队列的目标资源，包括：

基于所述每个任务队列的优先级从所述各个任务队列中确定未分配资源且优先级最高的参考任务队列；

基于所述参考任务队列与多个候选资源的匹配度以及剩余待分配资源确定所述参考任务队列的目标资源，所述参考任务队列的目标资源为小于或等于所述待剩余待分配资源且匹配度最高的候选资源。

4.如权利要求1所述的方法，其特征在于，所述根据所述每个任务队列的资源预测结果确定所述每个任务队列的目标资源，包括：

从目标任务队列的资源预测结果中获取与所述目标任务队列匹配度最高的候选资源，所述目标任务队列为所述每个任务队列中的任意一个任务队列；

将所述匹配度最高的候选资源确定为所述目标任务队列的目标资源。

5.如权利要求1-4任一项所述的方法，其特征在于，所述特征向量包括多维度特征向量，所述分别对所述每个任务队列的任务队列信息进行特征提取，得到所述每个任务队列的特征向量，包括：

对目标任务队列的任务队列信息进行编码处理，得到所述目标任务队列的基础向量；

基于多层线性权重向量对所述目标任务队列的基础向量进行多线性注意力处理，得到所述目标队列的多维度特征向量。

6.如权利要求5所述的方法，其特征在于，所述多层线性权重向量包括第一线性权重向量、第二线性权重向量以及第三线性权重向量；

所述基于多层线性权重向量对所述目标任务队列的基础向量进行多线性注意力处理，得到所述目标队列的特征向量，包括：

对所述目标任务队列的基础向量与所述第一线性权重向量进行点积归一化处理，得到点积归一化特征向量；

基于所述第二线性权重向量和所述第三线性权重向量对所述点积归一化特征向量和所述目标任务队列的基础向量进行线性变换处理，得到线性变化特征向量，并基于预设阈值函数对所述线性变化特征向量进行阈值映射处理，得到阈值映射特征向量；

基于所述目标任务队列的基础向量、所述点积归一化特征向量以及所述阈值映射特征向量确定所述目标任务队列的多维度特征向量。

7.如权利要求1-4任一项所述的方法，其特征在于，所述调用资源预测模型分别对所述每个任务队列的特征向量进行预测处理之前，所述方法还包括：

获取资源因子的边界值以及资源因子增量；

基于所述资源因子的边界值以及资源因子增量构建所述多个候选资源。