[发明专利]Spark任务处理方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种Spark任务处理方法、装置、电子设备及存储介质，方法包括：根据各待处理任务的优先级依次读取待处理任务；针对每个当前读取的待处理任务，根据Spark集群系统当前的运行状态、Spark集群系统当前可用资源以及当前读取的待处理任务所需的资源，判断是否执行当前读取的待处理任务，若是，则执行当前读取的待处理任务，并针对下一个待处理任务进行判断。本发明根据Spark集群系统的运行状态和当前可用资源以及当前待处理任务所需的资源，确定是否执行当前待处理任务，从而可以避免因排序在先的任务耗时过长、占用资源过多而导致排序在后但是需要较少资源的任务无法执行的问题，进而可以实现资源的优化分配。

技术领域

本发明涉及计算机技术领域，具体涉及一种Spark任务处理方法、装置、电子设备及存储介质。

背景技术

Spark是一个通用引擎，可用它来完成各种各样的运算，包括SQL查询、文本处理、机器学习等。在大数据系统中，经常采用Spark来完成各种大数据处理的需求。例如通过Spark来进行多个SQL查询统计任务，此时一般采取的措施是：在有多个任务待处理的情况下，spark-submit(Spark应用程序部署工具)会通过一个统一的main方法创建sparkcontext，在spark context中通过多线程同时提交多个任务运行，然后spark context接到这所有的任务之后，通过中央调度依次分配资源来执行各个任务，最终任务完成程序退出。或者是，通过增加多个main方法的方式，将多个任务分散在这些main方法中，这样可以同时创建多个spark context，由spark context自行调度分配任务的执行。

然而，这两种方案均存在相应的缺点：

对于通过一个统一的main方法创建spark context，在spark context中通过多线程同时提交多个任务运行的处理方式，在某些任务耗时长、占用资源多的情况下，或者是临时紧急需要某些任务的统计结果的情况下，无法动态调度，优先分配资源、优先执行该任务得到数据。只能按照原先设计的main方法中的任务顺序，依次申请资源、排队执行任务，不够灵活，无法满足实际需求。例如，当排序在先的某个任务耗时过长、占用资源过多的情况下，会导致排序在后但是需要较少资源的任务无法执行，因而无法实现资源的优化分配。又如，当需要临时执行某一紧急任务时，无法动态调度，优先执行该任务，因而不够灵活，无法满足实际需求。

而对于通过增加多个main方法，将多个任务分散在多个main方法的处理方式，由于一个任务对应一个main方法，因此会因为任务过多，分配过细，从而增加运维人员的维护成本。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种Spark任务处理方法、装置、电子设备及存储介质。

第一方面，本发明实施例提供了一种Spark任务处理方法，包括：

根据各待处理任务的优先级依次读取待处理任务；

针对每个当前读取的待处理任务，根据Spark集群系统当前的运行状态、Spark集群系统当前可用资源以及当前读取的待处理任务所需的资源，判断是否执行当前读取的待处理任务，若是，则执行当前读取的待处理任务，并针对下一个待处理任务进行判断。

进一步地，所述的Spark任务处理方法，还包括：

若根据Spark集群系统当前的运行状态、Spark集群系统当前可用资源以及当前读取的待处理任务所需的资源，判断不执行当前读取的待处理任务，则直接针对下一个待处理任务进行判断。

进一步地，针对每个当前读取的待处理任务，根据Spark集群系统当前的运行状态、Spark集群系统当前可用资源以及当前读取的待处理任务所需的资源，判断是否执行当前读取的待处理任务，若是，则执行当前读取的待处理任务，并针对下一个待处理任务进行判断，具体包括：