[发明专利]按序进行并行数据处理的方法和装置

说明书

本申请提供一种按序进行并行数据处理的方法，所述并行数据处理由N个加工处理功能模块完成，N为大于1的自然数，所述方法包括：以M个分组接收乱序的记录，对每个分组中的记录分别进行排序；M为大于1的自然数；将每个分组排序后的记录分发至所述分组对应的N个队列；每个分组对应于相同的N个队列；每个分组的N个队列分别对应于N个加工处理功能模块且每个加工处理功能模块对应M个队列；将每个加工处理功能模块对应的M个队列中的记录，按照顺序输出至所述加工处理功能模块。本申请的技术方案实现了乱序记录的并行排序，在排序速度较慢时易于通过增加分组来加快处理速度，提高了数据处理过程的扩展性，并且避免了单点故障。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种按序进行并行数据处理的方法和装置。

背景技术

随着信息技术的深入发展，人们的几乎所有行为都在不停的产生数据。对数据的采集、分析和应用，成为企业在当前商业环境下提高竞争力的关键。数据量极速增加和分析手段的多样化，使得数据处理过程也渐趋复杂。

数据处理过程可以采用多个步骤进行，每个步骤完成一部分数据加工。为了应对巨大的运算量和对处理速度的要求，各个步骤通常都由多个加工处理功能模块并行运算，分别对输入的记录(数据处理的单位)进行处理。但是在一些应用场景中，有的步骤需要按照顺序来处理记录，在这样的步骤前，通常要先对记录进行排序，再将排序后的记录输入到该步骤的加工处理功能模块。

现有技术中，在将记录输入到需要按序处理的加工处理功能模块前，先由一个统一排序功能模块对所有记录进行统一的排序。一个例子的流程如图1所示，假设乱序记录到达统一排序功能模块的顺序为：A2、B1、A3、C3、B3、C1、A1、B2和C2，统一排序功能模块将这些记录排序后，从先到后排列为：A1、A2、B1、A3、C1、B2、C2、C3和B3，之后再将排序后的记录分配给3个加工处理功能模块。

可见，如果统一排序功能模块的运行速度较慢，将拖累该步骤的整体处理速度，并且只能采用升级统一排序功能模块运行环境来方式来提高处理速度；而当统一排序功能模块发生运行故障时，所有的记录都将无法处理。也就是说，该处理过程存在不具有并行扩展性的单节点瓶颈。

发明内容

有鉴于此，本申请提供一种按序进行并行数据处理的方法，所述并行数据处理由N个加工处理功能模块完成，N为大于1的自然数，所述方法包括：

以M个分组接收乱序的记录，对每个分组中的记录分别进行排序；M为大于1的自然数；

将每个分组排序后的记录分发至所述分组对应的N个队列；每个分组对应于相同的N个队列；每个分组的N个队列分别对应于N个加工处理功能模块且每个加工处理功能模块对应M个队列；

将每个加工处理功能模块对应的M个队列中的记录，按照顺序输出至所述加工处理功能模块。

本申请还提供了一种按序进行并行数据处理的装置，所述并行数据处理由N个加工处理功能模块完成，N为大于1的自然数，所述装置包括：

分组排序单元，用于以M个分组接收乱序的记录，对每个分组中的记录分别进行排序；M为大于1的自然数；

分组分发单元，用于将每个分组排序后的记录分发至所述分组对应的N个队列；每个分组对应于相同的N个队列；每个分组的N个队列分别对应于N个加工处理功能模块且每个加工处理功能模块对应M个队列；

队列排序单元，用于将每个加工处理功能模块对应的M个队列中的记录，按照顺序输出至所述加工处理功能模块。