[发明专利]任务处理方法和装置

说明书

本说明书一个实施例提供了一种任务处理方法和装置，该方法包括：获取目标任务的代码，以确定算子种类和每种算子数量，根据算子种类、每种算子数量，确定目标任务的复杂度；获取目标任务的待处理数据量，根据复杂度、待处理数据量以及预先确定的资源分配策略，确定目标任务每种资源的资源分配模型；根据目标任务的待处理数据量和每种资源的资源分配模型，确定目标任务的每种资源的分配量；根据每种资源的分配量，在分布式任务处理网络中选取目标节点，利用目标节点处理目标任务。通过本实施例，能够解决根据个人经验确定任务所需的资源分配量不准确以致降低了任务处理效率的问题，提高确定任务的资源分配量的准确性，进而提高任务的处理效率。

技术领域

本文件涉及大数据技术领域，尤其涉及一种任务处理方法和装置。

背景技术

随着分布式系统的发展，能够利用分布式系统处理各种各样的任务，比如处理大数据筛选任务，或者，处理大数据清洗任务。在分布式系统中进行任务处理时，首先需要确定处理该任务所需分配的资源量，比如确定所需分配的内存大小、虚拟核数量和执行器数量等，从而根据所需分配的资源量，利用分布系统中的空闲节点实现对该任务的处理。

然而，目前在确定任务所需分配的资源量时，主要通过个人经验进行确定，确定得到的资源量不够准确，导致任务处理时资源不足或者资源浪费，降低任务处理效率。因此，有必要提供一种技术方案，以提高确定任务的资源分配量的准确性，提高任务的处理效率。

发明内容

本说明书一个实施例的目的是提供一种任务处理方法和装置，以解决根据个人经验确定任务所需分配的资源量不准确、降低任务处理效率的问题，提高确定任务的资源分配量的准确性，提高任务的处理效率。

为解决上述技术问题，本说明书一个实施例是这样实现的：

第一方面，本说明书一个实施例提供了一种任务处理方法，包括：

获取待处理的目标任务的代码，遍历所述代码，以确定所述代码包含的算子的种类和每种算子的数量，根据所述算子的种类、每种所述算子的数量和预先确定的每种算子的复杂度权重，确定所述目标任务的复杂度；

获取所述目标任务的待处理数据量，根据所述目标任务的复杂度、所述目标任务的待处理数据量、以及、为每种进行任务处理时需调用的资源预先确定的资源分配策略，确定所述目标任务的每种资源的资源分配模型；其中，针对每种资源，与该资源关联的资源分配策略包括该资源对应的任务复杂度范围、该资源对应的待处理数据量范围、该资源对应的资源分配模型之间的对应关系；

根据所述目标任务的待处理数据量和所述目标任务的每种资源的资源分配模型，确定所述目标任务的每种资源的分配量；

根据所述目标任务的每种资源的分配量，在分布式任务处理网络中选取用于处理所述目标任务的目标节点，并利用所述目标节点处理所述目标任务。

第二方面，本说明书另一个实施例提供了一种任务处理装置，包括：

复杂度确定模块，用于获取待处理的目标任务的代码，遍历所述代码，以确定所述代码包含的算子的种类和每种算子的数量，根据所述算子的种类、每种所述算子的数量和预先确定的每种算子的复杂度权重，确定所述目标任务的复杂度；

模型确定模块，用于获取所述目标任务的待处理数据量，根据所述目标任务的复杂度、所述目标任务的待处理数据量、以及、为每种进行任务处理时需调用的资源预先确定的资源分配策略，确定所述目标任务的每种资源的资源分配模型；其中，针对每种资源，与该资源关联的资源分配策略包括该资源对应的任务复杂度范围、该资源对应的待处理数据量范围、该资源对应的资源分配模型之间的对应关系；

分配量确定模块，用于根据所述目标任务的待处理数据量和所述目标任务的每种资源的资源分配模型，确定所述目标任务的每种资源的分配量；