[发明专利]一种大数据资源动态调度方法、装置和设备

说明书

本说明书实施例提供了一种大数据资源动态调度方法、装置和设备，涉及大数据技术领域，其中，该方法包括：获取目标作业的特征信息集；特征信息集中包括：执行目标作业所需资源量的预估值、目标作业的计划执行时间、截止时间；根据执行目标作业所需资源量的预估值、目标作业的计划执行时间、截止时间，确定目标作业在所述截止时间完成所需的资源量；获取当前可分配的资源量；在目标时刻为目标作业分配资源；其中，目标时刻为目标作业在截止时间完成的最晚准入时刻。在本说明书实施例中，最大化地利用大数据集群资源，使更多作业可以按时完成，并且有效提高了资源调度系统的效率和准确性。

技术领域

本说明书实施例涉及大数据技术领域，特别涉及一种大数据资源动态调度方法、装置和设备。

背景技术

分布式系统在计算和存储上解决了大规模数据单机无法承载的问题，可实现批量作业的并行处理。现有技术中针对分布式系统的常见的资源管理系统可以细粒度地划分集群资源，并通过跟踪当下每个作业分配的资源和当下可用集群资源，通过公平调度器给系统分配资源。但是现有技术中的公平调度器是基于有无限资源的情况设计的，系统运行中往往存在高峰时段计算量远远大于平时的情况。由于实际作业需求的截止完成时间不同，因此，当资源受限的情况下若想保护关键作业按时完成时，则需要管理员需手动进行资源调度。而采用人工的方式进行资源调度无法及时地确定出调度方案，容易出现遗漏。由此可见，采用现有技术中得到技术方案无法准确地进行资源调度，以确保作业可以在截止时间之前完成。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本说明书实施例提供了一种大数据资源动态调度方法、装置和设备，以解决现有技术中无法准确地进行资源调度，以确保作业可以在截止时间之前完成的问题。

本说明书实施例提供了一种大数据资源动态调度方法，包括：获取目标作业的特征信息集；其中，所述特征信息集中包括：执行所述目标作业所需资源量的预估值、所述目标作业的计划执行时间、截止时间；根据执行所述目标作业所需资源量的预估值、所述目标作业的计划执行时间、截止时间，确定所述目标作业在所述截止时间完成所需的资源量；获取当前可分配的资源量；根据所述目标作业在所述截止时间完成所需的资源量和所述当前可分配的资源量，在目标时刻为所述目标作业分配资源；其中，所述目标时刻为所述目标作业在所述截止时间完成的最晚准入时刻。

本说明书实施例还提供了一种大数据资源动态调度装置，包括：第一获取模块，用于获取目标作业的特征信息集；其中，所述特征信息集中包括：执行所述目标作业所需资源量的预估值、所述目标作业的计划执行时间、截止时间；确定模块，用于根据执行所述目标作业所需资源量的预估值、所述目标作业的计划执行时间、截止时间，确定所述目标作业在所述截止时间完成所需的资源量；第二获取模块，用于获取当前可分配的资源量；处理模块，用于根据所述目标作业在所述截止时间完成所需的资源量和所述当前可分配的资源量，在目标时刻为所述目标作业分配资源；其中，所述目标时刻为所述目标作业在所述截止时间完成的最晚准入时刻。

本说明书实施例还提供了一种大数据资源动态调度设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述大数据资源动态调度方法的步骤。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述大数据资源动态调度方法的步骤。