[发明专利]多机房作业调度方法、装置、介质及电子设备

说明书

本公开涉及一种多机房作业调度方法、装置、介质及电子设备，方法包括：从作业管理平台接收待调度的目标作业；根据所述目标作业的依赖信息，确定多机房中各计算集群执行所述目标作业的预估时间；根据所述目标作业的资源申请情况，确定多机房中各计算集群在尝试分配所述目标作业的申请资源后的使用资源数量；根据多机房中各计算集群对应的预估时间和使用资源数量，从多机房各计算集群中选择适配所述目标作业的目标机房和目标计算集群；向所述目标机房中的目标计算集群分配所述目标作业，并为所述目标作业选择适配的计算节点，控制所述计算节点执行所述目标作业。由此可以在一定程度上提高多机房下作业调度的效率，并提高分配后作业执行的效率。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种多机房作业调度方法、装置、介质及电子设备。

背景技术

在离线大数据场景下，离线计算任务通常有大量的离线数据依赖，而用户并不能完全感知底层存储副本的分布，从而可能会出现大量的跨机房读写，占用大量的跨机房带宽。并且一旦跨机房带宽不足，可能会导致计算任务无法获得依赖数据，导致计算和存储资源闲置，降低了整体资源的利用率，并可能影响在线服务的稳定性。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种多机房作业调度方法，所述方法包括：

从作业管理平台接收待调度的目标作业；

根据所述目标作业的依赖信息，确定多机房中各计算集群执行所述目标作业的预估时间；

根据所述目标作业的资源申请情况，确定多机房中各计算集群在尝试分配所述目标作业的申请资源后的使用资源数量；

根据多机房中各计算集群对应的预估时间和使用资源数量，从多机房各计算集群中选择适配所述目标作业的目标机房和目标计算集群；

向所述目标机房中的目标计算集群分配所述目标作业，并为所述目标作业选择适配的计算节点，控制所述计算节点执行所述目标作业。

第二方面，本公开提供一种多机房作业调度装置，所述装置包括：

接收模块，用于从作业管理平台接收待调度的目标作业；

第一确定模块，用于根据所述目标作业的依赖信息，确定多机房中各计算集群执行所述目标作业的预估时间；

第二确定模块，用于根据所述目标作业的资源申请情况，确定多机房中各计算集群在尝试分配所述目标作业的申请资源后的使用资源数量；

第三确定模块，用于根据多机房中各计算集群对应的预估时间和使用资源数量，从多机房各计算集群中选择适配所述目标作业的目标机房和目标计算集群；

分配模块，用于向所述目标机房中的目标计算集群分配所述目标作业，并为所述目标作业选择适配的计算节点，控制所述计算节点执行所述目标作业。

第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现第一方面所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面所述方法的步骤。