[发明专利]基于大数据的任务优化方法、及相关设备

权利要求书

1.一种基于大数据的任务优化方法，其特征在于，包括下述步骤：

接收到优化任务指令时，获取各个目标任务的任务依赖集合；

根据所述优化任务指令对各个所述目标任务进行分类，获取由所述目标任务构成的任务重合度集合；

计算所述任务重合度集合中任意两个目标任务的重合度；

获取所述任务重合度集合中各个目标任务的复用度；

若所述任务重合度集合中的目标任务的复用度低于预设复用度且该目标任务与另一目标任务的重合度高于预设重合度，将所述目标任务合并于所述另一目标任务。

2.根据权利要求1所述的基于大数据的任务优化方法，其特征在于，所述获取各个目标任务的任务依赖集合的步骤包括：

从任务配置系统获取各个所述目标任务的配置参数；

根据所述配置参数获取各个所述目标任务的上游依赖任务；

根据所述上游依赖任务得到所述任务依赖集合。

3.根据权利要求1所述的基于大数据的任务优化方法，其特征在于，所述获取各个目标任务的任务依赖集合的步骤还包括：

获取各个目标任务的运行日志；

查找所述运行日志中所述目标任务的执行代码；

根据所述目标任务的执行代码的来源表整合所述来源表中所述目标任务的上游依赖任务，得到所述任务依赖集合。

4.根据权利要求1所述的基于大数据的任务优化方法，其特征在于，所述根据所述优化任务指令对各个所述目标任务进行分类，获取由所述目标任务构成的任务重合度集合的步骤包括：

解析所述优化任务指令，其中，所述优化任务指令包含按照目标数据层级分类的要求；

获取层级为所述目标数据层级的目标任务，生成所述任务重合度集合。

5.根据权利要求1所述的基于大数据的任务优化方法，其特征在于，所述计算所述任务重合度集合中任意两个目标任务的重合度的步骤包括：

获取所述任务重合度集合中任意的两个目标任务；

分别获取所述两个目标任务各自任务依赖集合的元素个数，所述两个目标任务的任务依赖集合的并集元素个数以及交集元素个数；

根据所述两个目标任务各自任务依赖集合的元素个数，所述两个目标任务的任务依赖集合的并集元素个数以及交集元素个数计算所述任务重合度集合中任意两个目标任务的重合度。

6.根据权利要求5所述的基于大数据的任务优化方法，其特征在于，所述根据所述两个目标任务各自任务依赖集合的元素个数，所述两个目标任务的任务依赖集合的并集元素个数以及交集元素个数计算所述任务重合度集合中任意两个目标任务的重合度，计算公式如下：

或

或

其中，S为重合度；A为第一目标任务的任务依赖集合，所述第一目标任务为所述两个目标任务中的任意一个；B为所述两个目标任务中的另一个目标任务的任务依赖集合；n(A∩B)集合A与集合B的交集的元素个数；n(A∪B)为集合A与集合B的并集的元素个数；n(A)为集合A的元素个数；n(B)为集合B的元素个数。

7.根据权利要求1所述的基于大数据的任务优化方法，其特征在于，所述获取所述任务重合度集合中各个目标任务的复用度的步骤包括：

获取各个所述目标任务的直接下游依赖集合；

根据所述直接下游依赖集合的元素个数确定各个所述目标任务的复用度。

8.一种基于大数据的任务优化装置，其特征在于，所述基于大数据的任务优化装置包括：

接收模块，用于接收到优化任务指令时，获取各个目标任务的任务依赖集合；

分类模块，用于根据所述优化任务指令对各个所述目标任务进行分类，获取由所述目标任务构成的任务重合度集合；

重合度计算模块，用于计算所述任务重合度集合中任意两个目标任务的重合度；

复用度计算模块，用于获取所述任务重合度集合中各个目标任务的复用度；

合并模块，用于若所述任务重合度集合中的目标任务的复用度低于预设复用度且该目标任务与另一目标任务的重合度高于预设重合度时，将所述目标任务合并于所述另一目标任务。