[发明专利]批量数据处理方法和装置

说明书

根据本发明的实施例提供一种基于大数据领域的批量数据处理方法和装置，包括：获取批量数据并生成M个报表任务，根据报表处理流程将每个所述报表任务划分为N_i个子任务并在每个所述子任务的标签中添加处理信息和依赖信息；当所述子任务的所述依赖信息符合第一预设条件时，将所述子任务设置成待处理子任务；将所述待处理子任务分配到任务处理器并根据每个所述标签中的所述处理信息选择处理方式。根据本发明实施例的批量数据处理方法和装置，能够在多个报表任务并行处理时尽可能的充分利用处理器的性能，提高数据处理的效率。

技术领域

本发明涉及大数据领域，特别是涉及一种批量数据处理方法和批量数据处理装置。

背景技术

报表任务本身具有一定的处理流程，对批量的数据进行处理并生成多个报表时，需要根据处理流程将每个报表分成数个子任务，并分配到相应的处理模块中。

现有技术在对批量数据进行处理时，对于每个处理模块中的子任务采用并行处理的方式，当一个处理模块中的子任务全部执行完毕后，再下一个处理模块中的子任务，也就是说处理模块之间采用的是串行处理的方式，这样的处理方法并不能够充分地利用任务处理器的资源，当一个处理模块中剩余子任务较少的时候，任务处理器将处于较为空闲的状态，并且这样的处理方法无法优先处理重要的报表。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的批量数据处理方法和装置。

根据本发明的一个方面，提供一种批量数据处理方法，包括：获取批量数据并生成M个报表任务，根据报表处理流程将每个所述报表任务划分为N_i个子任务并在每个所述子任务的标签中添加处理信息和依赖信息，其中M和N_i为大于或等于1的整数，i＝1、2、3，……，M的整数，所述依赖信息包括前置子任务数量和完成状态；当所述子任务的所述依赖信息符合第一预设条件时，将所述子任务设置成待处理子任务，其中，所述第一预设条件包括无前置子任务或前置子任务已经完成；将所述待处理子任务分配到任务处理器并根据每个所述标签中的所述处理信息选择处理方式。

可选地，所述当所述子任务的所述依赖信息符合第一预设条件时，将所述子任务设置成待处理子任务包括：每次读取一个所述子任务的所述依赖信息，判断所述依赖信息是否符合所述第一预设条件，当所述依赖信息符合所述第一预设条件时将所述一个所述子任务设置成待处理子任务；继续读取另一个所述子任务的依赖信息并进行所述判断，直到所有所述子任务都已经设置成待处理子任务。

可选地，至少部分所述标签中还包括优先级信息，用于确定所述待处理子任务的处理顺序，所述优先级信息包括：报表优先级和路径优先级，其中所述报表优先级是根据每个所述报表任务的优先级为所述报表任务的所有所述子任务添加的；所述路径优先级是根据每个所述子任务的所述处理信息和/或所述子任务的所述前置子任务的所述处理信息为所述子任务添加的；所述确定所述待处理子任务的处理顺序包括：在所有所述待处理子任务中，优先处理具有所述优先级信息的所述待处理子任务；在所有具有所述优先级信息的所述待处理子任务中，优先处理所述优先级信息的级别相对较高的所述待处理子任务。

可选地，将所述待处理子任务分配到任务处理器包括：每间隔预定时间获取一个或多个所述任务处理器的运行状态；根据所述处理顺序将所述待处理子任务分配至运行状态为空闲的所述处理器进行处理，直到所有所述待处理子任务都已经被分配。

可选地，所述子任务的标签中的所述处理信息包括：所述子任务所属的所述报表任务的信息，以及所述子任务所属的所述报表处理流程的信息。

可选地，所述批量数据处理方法还包括：当一个所述子任务被设置成所述待处理子任务并在所述任务处理器中处理完成后，判定所述子任务完成；当一个所述报表任务的所有所述子任务都已经完成时，判定所述报表任务完成并输出所述报表任务的结果。