[发明专利]作业调度方法、装置和电子设备

说明书

本发明的实施例提供了一种作业调度方法、装置和电子设备，涉及数据处理技术领域。在提取作业对应的特征信息后，根据特征信息，计算得到运行作业所需的资源，根据运行作业所需的资源，确定运行作业的目标机房，通过目标机房运行作业，避免了开发人员随意申请资源导致的资源浪费，提高了整体资源利用率。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种作业调度方法、装置和电子设备。

背景技术

随着业务对数据处理实时性的要求不断提高，传统的离线计算方式已逐步被实时计算取代。

目前，实时计算作业的运行流程需要用户对数据的源头、输出、计算资源所处的机房环境等信息有比较明确的了解，整个过程依赖于作业开发人员的经验以及对公司基础架构环境资源的了解。但实际应用中，作业开发人员对公司的基础架构并不熟悉，更多的是关注于自身的作业需求，往往会申请较多的计算资源，从而导致资源的浪费和计算资源使用的不均衡。

发明内容

基于上述研究，本发明提供了一种作业调度方法、装置和电子设备，以改善上述问题。

本发明的实施例可以这样实现：

第一方面，本发明提供一种作业调度方法，所述方法包括：

对作业进行解析，得到所述作业对应的特征信息；

根据所述特征信息，计算得到运行所述作业所需的资源；

根据运行所述作业所需的资源，确定运行所述作业的目标机房；

将所述作业提交到所述目标机房，以使所述目标机房运行所述作业。

在可选的实施方式中，所述特征信息包括作业消费的数据源的信息、算子的类型以及每个类型的算子的个数；所述根据所述特征信息，计算得到运行所述作业所需的资源的步骤包括：

根据所述数据源的信息，查询得到所述数据源的输出速率；

根据每个类型的算子的个数以及每个类型的算子的复杂度系数，计算得到计算逻辑复杂度；

根据所述输出速率以及所述计算逻辑复杂度，计算得到运行所述作业所需的资源。

在可选的实施方式中，所述资源包括资源容量；所述根据所述输出速率以及所述计算逻辑复杂度，计算得到运行所述作业所需的资源的步骤包括：

根据所述输出速率以及所述计算逻辑复杂度，计算得到目标CPU核数；

根据所述目标CPU核数计算得到目标内存；

根据所述目标内存以及所述目标CPU核数，得到运行所述作业所需的资源容量。

在可选的实施方式中，所述根据所述输出速率以及所述计算逻辑复杂度，计算得到目标CPU核数的步骤包括：

通过以下公式计算得到所述目标CPU核数：

其中，X为目标CPU核数；A为所述输出速率；S为单核单复杂度的数据消费速率；B为计算逻辑复杂度；C为常数。

在可选的实施方式中，所述特征信息还包括时延需求以及所述作业的输出信息，所述根据运行所述作业所需的资源，确定运行所述作业的目标机房的步骤包括：

获取当前各个机房的剩余资源容量；

根据所述数据源的信息，查询得到所述数据源所在的源机房；

根据所述作业的输出信息，查询得到所述作业的输出机房；

获取所述源机房到各个机房的网络延迟以及带宽单价；