[发明专利]批量数据处理方法和装置

权利要求书

1.一种批量数据处理方法，包括：

获取批量数据并生成M个报表任务，根据报表处理流程将每个所述报表任务划分为N_i个子任务并在每个所述子任务的标签中添加处理信息和依赖信息，其中，M和N_i为大于或等于1的整数，i＝1、2、3，……，M的整数，所述依赖信息包括前置子任务的数量和完成状态；

当所述子任务的所述依赖信息符合第一预设条件时，将所述子任务设置成待处理子任务，其中，所述第一预设条件包括无前置子任务或前置子任务已经完成；

将所述待处理子任务分配到任务处理器并根据每个所述标签中的所述处理信息选择处理方式。

2.根据权利要求1所述的方法，其中，所述当所述子任务的所述依赖信息符合第一预设条件时，将所述子任务设置成待处理子任务包括：

每次读取一个所述子任务的所述依赖信息，判断所述依赖信息是否符合所述第一预设条件，当所述依赖信息符合所述第一预设条件时将所述一个所述子任务设置成待处理子任务；

继续读取另一个所述子任务的依赖信息并进行所述判断，直到所有所述子任务都已经设置成待处理子任务。

3.根据权利要求1所述的方法，其中，至少部分所述标签中还包括优先级信息，用于确定所述待处理子任务的处理顺序，所述优先级信息包括：

报表优先级和路径优先级，其中

所述报表优先级是根据每个所述报表任务的优先级为所述报表任务的所有所述子任务添加的；

所述路径优先级是根据每个所述子任务的所述处理信息和/或所述子任务的所述前置子任务的所述处理信息为所述子任务添加的；

所述确定所述待处理子任务的处理顺序包括：

在所有所述待处理子任务中，优先处理具有所述优先级信息的所述待处理子任务；

在所有具有所述优先级信息的所述待处理子任务中，优先处理所述优先级信息的级别相对较高的所述待处理子任务。

4.根据权利要求3所述的方法，其中，将所述待处理子任务分配到任务处理器包括：

每间隔预定时间获取一个或多个所述任务处理器的运行状态；

根据所述处理顺序将所述待处理子任务分配至运行状态为空闲的所述处理器进行处理，直到所有所述待处理子任务都已经被分配。

5.根据权利要求1所述的方法，其中，所述子任务的标签中的所述处理信息包括：

所述子任务所属的所述报表任务的信息，以及

所述子任务所属的所述报表处理流程的信息。

6.根据权利要求1所述的方法，还包括：

当一个所述子任务被设置成所述待处理子任务并在所述任务处理器中处理完成后，判定所述子任务完成；

当一个所述报表任务的所有所述子任务都已经完成时，判定所述报表任务完成并输出所述报表任务的结果。

7.根据权利要求6所述的方法，还包括：

所有所述子任务都已经完成后，统计所有所述子任务自获取到完成消耗的总时间和每个所述子任务消耗的时间，并对每个所述子任务消耗的时间进行加权计算。

8.一种批量数据处理装置，包括：

获取模块，用于获取批量数据并生成M个报表任务，根据报表处理流程将每个所述报表任务划分为N_i个子任务并在每个所述子任务的标签中添加处理信息和依赖信息，其中M和N_i为大于1的整数，i为大于等于1小于等于M的整数，所述依赖信息包括前置子任务数量和完成状态；

判断模块，用于当所述子任务的所述依赖信息符合第一预设条件时，将所述子任务设置成待处理子任务，其中，所述第一预设条件包括无前置子任务或前置子任务已经完成；

分配模块，用于将所述待处理子任务分配到任务处理器并根据每个所述待处理子任务的所述处理信息选择处理方式。