[发明专利]一种任务处理方法及装置

说明书

本申请实施例提供了一种任务处理方法及装置，涉及数据处理技术领域，其中方法包括：根据预先确定的各任务类别的热点运行时段，在到达热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器；当接收到任务提交请求时，根据任务提交请求包括的待提交任务的任务信息，确定待提交任务所属的目标任务类别；确定是否存在目标任务类别所对应的第一任务提交器；若是，则将待提交任务分发给第一任务提交器，以使第一任务提交器执行待提交任务的提交操作。通过本申请实施例，使得相同任务类别的待提交任务可在同一个提交环境中完成提交，提升了任务的提交速度和任务提交的并发量。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种任务处理方法及装置。

背景技术

目前，在大数据处理系统的数据处理过程中，通常包括任务提交和任务执行两个部分，即将各任务提交到集群，并在集群执行任务。其中，任务提交的过程中，对于每个待提交的任务，均需要准备相应的提交环境，即拷贝相关依赖到HDFS(英文全称：HadoopDistributed File System；中文全称：分布式文件系统)，并拉起一个JVM(英文全称：JavaVirtual Machine；中文全称：Java虚拟机)，以运行任务提交器，实现相应任务的提交。然而，对于每个待提交的任务，均执行相关依赖的拷贝操作、JVM的拉起操作，不仅降低了任务的提交速度，而且限制了任务提交的并发量。

发明内容

本申请实施例的目的是提供一种任务处理方法及装置，以使相同任务类别的待提交任务可以在同一个提交环境中完成提交，而不再是一个提交环境仅提交一个任务，因此极大的提升了任务的提交速度和任务提交的并发量。

第一方面，本申请实施例提供了一种任务处理方法，包括：

根据预先确定的各任务类别的热点运行时段，在到达所述热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器；

当接收到任务提交请求时，根据所述任务提交请求包括的待提交任务的任务信息，确定所述待提交任务所属的目标任务类别；

确定是否存在所述目标任务类别所对应的第一任务提交器；

若是，则将所述待提交任务分发给所述第一任务提交器，以使所述第一任务提交器执行所述待提交任务的提交操作。

第二方面，本申请实施例提供了一种任务处理装置，包括：

生成模块，用于根据预先确定的各任务类别的热点运行时段，在到达所述热点运行时段的起始时间之前，生成相应任务类别所对应的任务提交器；

接收模块，用于当接收到任务提交请求时，根据所述任务提交请求包括的待提交任务的任务信息，确定所述待提交任务所属的目标任务类别；

第一确定模块，用于确定是否存在所述目标任务类别所对应的第一任务提交器；

分发模块，用于若所述确定模块的确定结果为是，则将所述待提交任务分发给所述第一任务提交器，以使所述第一任务提交器执行所述待提交任务的提交操作。

第三方面，本申请实施例提供了一种任务处理设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述任务处理方法的步骤。

第四方面，本申请实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现上述任务处理方法的步骤。