[发明专利]Spark任务处理方法、装置、电子设备及存储介质

权利要求书

1.一种Spark任务处理方法，其特征在于，包括：

根据各待处理任务的优先级依次读取待处理任务；

针对每个当前读取的待处理任务，根据Spark集群系统当前的运行状态、Spark集群系统当前可用资源以及当前读取的待处理任务所需的资源，判断是否执行当前读取的待处理任务，若是，则执行当前读取的待处理任务，并针对下一个待处理任务进行判断；

当每检测一项任务执行完毕后，判断是否存在未被执行的待处理任务，若是，则根据未被执行的待处理任务的优先级，对未被执行的待处理任务进行相同逻辑的判断；

当有待处理任务需要临时调整执行顺序时，修改对应任务的优先级；

所述针对下一个待处理任务进行判断，具体包括：

判断Spark集群系统当前的运行状态是否正常，若正常，则判断Spark集群系统当前可用资源是否满足下一个待处理任务所需的资源，若是，则执行下一个待处理任务，若否，则直接针对下下一个待处理任务进行判断，直至所有的待处理任务均被遍历完毕。

2.根据权利要求1所述的Spark任务处理方法，其特征在于，还包括：

若根据Spark集群系统当前的运行状态、Spark集群系统当前可用资源以及当前读取的待处理任务所需的资源，判断不执行当前读取的待处理任务，则直接针对下一个待处理任务进行判断。

3.根据权利要求1所述的Spark任务处理方法，其特征在于，针对每个当前读取的待处理任务，根据Spark集群系统当前的运行状态、Spark集群系统当前可用资源以及当前读取的待处理任务所需的资源，判断是否执行当前读取的待处理任务，若是，则执行当前读取的待处理任务，并针对下一个待处理任务进行判断，具体包括：

针对当前读取的待处理任务，判断Spark集群系统当前的运行状态是否正常，若正常，则判断Spark集群系统当前可用资源是否满足当前读取的待处理任务所需的资源，若是，则执行当前读取的待处理任务，并针对下一个待处理任务进行判断。

4.根据权利要求2所述的Spark任务处理方法，其特征在于，若根据Spark集群系统当前的运行状态、Spark集群系统当前可用资源以及当前读取的待处理任务所需的资源，判断不执行当前读取的待处理任务，则直接针对下一个待处理任务进行判断，具体包括：

若判断Spark集群系统当前可用资源不满足当前读取的待处理任务所需的资源，则针对下一个待处理任务进行判断。

5.根据权利要求3所述的Spark任务处理方法，其特征在于，判断Spark集群系统当前的运行状态是否正常，具体包括：

判断Spark集群系统的磁盘读写速度是否大于第一阈值以及系统吞吐量是否大于第二阈值，若均为是，则确定Spark集群系统当前的运行状态正常。

6.一种Spark任务处理装置，其特征在于，包括：

读取模块，用于根据各待处理任务的优先级依次读取待处理任务；

处理模块，用于针对每个当前读取的待处理任务，根据Spark集群系统当前的运行状态、Spark集群系统当前可用资源以及当前读取的待处理任务所需的资源，判断是否执行当前读取的待处理任务，若是，则执行当前读取的待处理任务，并针对下一个待处理任务进行判断；

当每检测一项任务执行完毕后，判断是否存在未被执行的待处理任务，若是，则根据未被执行的待处理任务的优先级，对未被执行的待处理任务进行相同逻辑的判断；

当有待处理任务需要临时调整执行顺序时，修改对应任务的优先级；

所述针对下一个待处理任务进行判断，具体包括：

判断Spark集群系统当前的运行状态是否正常，若正常，则判断Spark集群系统当前可用资源是否满足下一个待处理任务所需的资源，若是，则执行下一个待处理任务，若否，则直接针对下下一个待处理任务进行判断，直至所有的待处理任务均被遍历完毕。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一所述的Spark任务处理方法。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一所述的Spark任务处理方法。