[发明专利]任务调度的方法、装置、处理器与电子设备

说明书

本申请提供了一种任务调度的方法、装置、处理器与电子设备，该方法包括：接收目标任务相关信息，目标任务相关信息包括目标任务信息以及表征目标任务紧急程度的信息；确定SPARK集群的当前资源利用率，当前资源利用率为SPARK集群中当前已被占用资源的数量的占比；根据目标任务相关信息和当前资源利用率，对目标任务信息进行拆分，得到至少一个目标子任务信息；将各目标子任务信息发送至SPARK集群进行计算，接收各计算结果并将各计算结果发出。该方法实现了基于目标任务信息和紧急程度的任务调度，进一步地对集群资源进行智能化的任务调度和负载自动分配机制，从而解决了现有技术中执行任务的效率较低的问题。

技术领域

本申请涉及任务调度领域，具体而言，涉及一种任务调度的方法、装置、计算机可读存储介质、处理器与电子设备。

背景技术

Apache Spark(开源集群运算框架)是专为大规模数据处理而设计的快速通用的计算引擎。Apache Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop(海杜普分布式系统基础架构)中MapReduce的通用并行框架，Apache Spark拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是，工作中间输出结果可以保存在内存中，从而不再需要读写HDFS(Hadoop Distributed File System，海杜普分布式文件系统)，因此Apache Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark拥有自己的计算生态，在大数据领域及计算方向有很高的市场占有率，技术通用性好，同时可与其他大数据核心组件相互结合形成大数据生态。但是，现有的执行任务的效率较低。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种任务调度的方法、装置、计算机可读存储介质、处理器与电子设备，以解决现有技术中执行任务的效率较低的问题。

根据本发明实施例的一个方面，提供了一种任务调度的方法，包括：接收目标任务相关信息，所述目标任务相关信息包括目标任务信息以及表征所述目标任务紧急程度的信息；确定SPARK集群的当前资源利用率，所述当前资源利用率为所述SPARK集群中当前已被占用资源的数量的占比；根据所述目标任务相关信息和所述当前资源利用率，对所述目标任务信息进行拆分，得到至少一个目标子任务信息；将各所述目标子任务信息发送至所述SPARK集群进行计算，接收各计算结果并将各所述计算结果发出。

可选地，确定SPARK集群的当前资源利用率，包括：获取所述SPARK集群中的资源总量；获取所述当前已被占用资源的数量，所述当前已被占用资源为当前所述SPARK集群中被其他任务占用的资源；根据所述资源总量和所述当前已被占用资源的数量，确定所述当前资源利用率。

可选地，根据所述目标任务相关信息和所述当前资源利用率，对所述目标任务信息进行拆分，包括：根据所述表征所述目标任务紧急程度的信息和所述当前资源利用率，确定所述SPARK集群中的可用资源的数量，所述可用资源为所述SPARK集群中除所述当前已被占用资源之外的其他资源；根据所述可用资源的数量，确定所述目标任务信息的拆分数量；按照所述拆分数量对所述目标任务进行拆分，得到至少一个所述目标子任务信息。

可选地，根据所述表征所述目标任务紧急程度的信息和所述当前资源利用率，确定所述SPARK集群中的可用资源的数量，包括：根据所述表征所述目标任务紧急程度的信息，确定所述目标任务信息的资源需求率；将所述资源需求率和所述当前资源利用率作差后与所述资源总量相乘，得到所述可用资源的数量。