[发明专利]一种大数据资源动态调度方法、装置和设备

权利要求书

1.一种大数据资源动态调度方法，其特征在于，包括：

获取目标作业的特征信息集；其中，所述特征信息集中包括：执行所述目标作业所需资源量的预估值、所述目标作业的计划执行时间、截止时间；

根据执行所述目标作业所需资源量的预估值、所述目标作业的计划执行时间、截止时间，确定所述目标作业在所述截止时间完成所需的资源量；

获取当前可分配的资源量；

根据所述目标作业在所述截止时间完成所需的资源量和所述当前可分配的资源量，在目标时刻为所述目标作业分配资源；其中，所述目标时刻为所述目标作业在所述截止时间完成的最晚准入时刻。

2.根据权利要求1所述的方法，其特征在于，获取目标作业的特征信息集，包括：

获取所述目标作业的目标结构化执行语句；

生成所述目标结构化查询语句的执行计划；

根据所述执行计划确定所述目标作业的计划执行时间。

3.根据权利要求2所述的方法，其特征在于，在根据所述执行计划确定所述目标作业的计划执行时间之后，还包括：

确定当前时刻距离所述截止时间的有效时间；

在确定所述计划执行时间大于所述有效时间的情况下，向目标用户反馈异常提示信息；其中，所述异常提示信息包括：所述目标结构化查询语句的执行计划和是否需要修改截止时间的提示信息，所述目标用户为提交所述目标作业的用户。

4.根据权利要求1所述的方法，其特征在于，在获取目标作业的特征信息集之前，还包括：

设置作业优先组；

确定所述目标作业是否为所述作业优先组中的作业；

在确定是的情况下，调用资源执行所述目标作业。

5.根据权利要求1所述的方法，其特征在于，按照以下公式根据执行所述目标作业所需资源量的预估值、所述目标作业的计划执行时间、截止时间，确定所述目标作业在所述截止时间完成所需的资源量：

其中，deadlineCPUs为所述目标作业在所述截止时间完成所需的资源量；requestedTasks为执行所述目标作业所需资源量的预估值；jobET为所述目标作业的计划执行时间；deadline为截止时间；T₀为当前时刻。

6.根据权利要求1所述的方法，其特征在于，在根据所述目标作业在所述截止时间完成所需的资源量和所述当前可分配的资源量，在目标时刻为所述目标作业分配资源之前，还包括：

在确定所述当前可分配的资源量小于所述目标作业在所述截止时间完成所需的资源量的情况下，丢弃所述目标作业。

7.根据权利要求6所述的方法，其特征在于，根据所述目标作业在所述截止时间完成所需的资源量和所述当前可分配的资源量，在目标时刻为所述目标作业分配资源，包括：

在确定所述当前可分配的资源量大于等于所述目标作业在所述截止时间完成所需的资源量的情况下，根据所述目标作业在所述截止时间完成所需的资源量、所述当前可分配的资源量和所述截止时间，计算所述目标作业在所述截止时间前完成的最少时间；

将所述目标作业在所述截止时间前完成的最少时间添加至排队列表中；

按照预设时间间隔确定所述排队列表中记录的在所述截止时间前完成的最少时间是否等于当前时刻距离所述截止时间的有效时间；

在确定等于的情况下，将当前时刻作为目标时刻，为所述目标作业分配资源。

8.根据权利要求7所述的方法，其特征在于，按照以下公式根据所述目标作业在所述截止时间完成所需的资源量、所述当前可分配的资源量和所述截止时间，计算所述目标作业在所述截止时间前完成的最少时间：

其中，minTime为所述目标作业在所述截止时间前完成的最少时间；deadlineCPUs为所述目标作业在所述截止时间完成所需的资源量；actualCPUs为当前可分配的资源量；deadline为截止时间；T₀为当前时刻。