[发明专利]一种动态资源分配方法、装置、存储介质及设备

权利要求书

1.一种动态资源分配方法，其特征在于，包括：

获取资源库中的资源总量、目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；

监控所述目标作业在数据混洗阶段的执行时间；

若所述数据混洗阶段的执行时间大于预设时长，则按预定规则调整目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；

根据所述资源库中的资源总量以及调整后的所述目标作业的可用资源量，确定资源库中的剩余资源量；

判断调整后的可用资源量是否小于所述剩余资源量；

若调整后的可用资源量小于剩余资源量，则继续监控所述目标作业在数据混洗阶段的执行时间；

所述按预定规则调整目标作业所分配的可用资源量，及所述目标作业的并行度，包括：

将所述可用资源量翻倍，将已用资源量调整为可用资源量的三分之一，并翻倍并行度；

判断调整后的并行度是否大于所述调整后的已用资源量的三倍；

若大于，则将所述并行度设置为调整后的已用资源量的三倍。

2.根据权利要求1所述的方法，其特征在于，若调整后的并行度小于所述调整后的已用资源量的三倍，则将所述并行度设置为翻倍后的取值。

3.根据权利要求1所述的方法，其特征在于，若调整后的可用资源量大于或者等于剩余资源量，则不再监控所述目标作业在数据混洗阶段的执行时间，并产生报警信号。

4.根据权利要求1所述的方法，其特征在于，所述预设时长为所述目标作业的预设作业完成时长。

5.根据权利要求1所述的方法，其特征在于，所述资源库中的资源总量、目标作业的已用资源量、可用资源量包括CPU个数。

6.一种动态资源分配装置，其特征在于，包括：

数据获取模块，用于获取资源库中的资源总量、目标作业的已用资源量、可用资源量，以及所述目标作业的并行度；

执行时间监控模块，用于监控所述目标作业在数据混洗阶段的执行时间；

参数调整模块，用于若所述数据混洗阶段的执行时间大于预设时长，则按预定规则调整目标作业所分配的可用资源量，及所述目标作业的并行度；

剩余资源量确定模块，用于根据所述资源库中的资源总量以及调整后的所述目标作业的可用资源量，确定资源库中的剩余资源量；

第一判断模块，用于判断调整后的可用资源量是否小于所述剩余资源量；

循环模块，用于若调整后的可用资源量小于剩余资源量，则继续监控所述目标作业在数据混洗阶段的执行时间；

所述参数调整模块包括：

参数设置单元，用于将所述可用资源量翻倍，将已用资源量调整为可用资源量的三分之一，并翻倍并行度；

第二判断模块，用于判断调整后的并行度是否大于所述调整后的已用资源量的三倍；

并行度设置单元，用于在大于的情况下，则将所述并行度设置为调整后的已用资源量的三倍。

7.一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现权利要求1至5中任一项所述方法的步骤。