[发明专利]分布式数据处理系统数据分区方法及装置

权利要求书

1.一种分布式数据处理系统数据分区方法，其特征在于，包括：

根据待使用的分区数量及待处理的元素中包含的数据总量，确定第一键值；

在确定第一元素中的数据量与所述第一键值的差值的绝对值，小于或等于第一阈值时，将所述第一元素分配至第一分区；

其中，所述第一元素为所述待处理的元素中包含数据量最多的元素，所述第一分区为所述待使用的分区中的任一分区；

当所述第一元素中的数据量与所述第一键值的差值大于第二阈值时，所述方法，还包括：

将所述第一元素中的数据分配至至少两个分区；

将所述至少两个分区进行关联，以使所述至少两个分区可以协同完成对所述第一元素的处理。

2.如权利要求1所述的方法，其特征在于，所述根据待使用的分区数量及待处理的元素中包含的数据总量，确定第一键值之前，还包括：

获取待处理的元素信息，其中，所述待处理的元素信息，包括各个元素中包含的数据量；

根据所述各个元素中包含的数据量及各个分区的工作属性，确定所述待使用的分区数量。

3.如权利要求1所述的方法，其特征在于，所述确定第一键值之后，还包括：

在确定所述第一元素中的数据量与所述第一键值的差值的绝对值，大于所述第一阈值时，根据预设的规则，从所述待处理元素中获取至少一个第二元素，以使所述第一元素与所述第二元素的数据量之和，与所述第一键值的差值的绝对值，小于或等于所述第一阈值；

将所述第一元素及所述至少一个第二元素，分配至所述第一分区。

4.如权利要求3所述的方法，其特征在于，所述根据预设的规则，从所述待处理元素中获取至少一个第二元素，包括：

依次将所说待处理元素中选取包含数据量最少的元素，加入第二元素；

或者，

根据所述绝对值及剩余待处理元素中各元素包含的数据量，选取至少一个第二元素；

其中，第二元素中包含的数据量与所述绝对值的差值的绝对值，小于或等于所述第一阈值。

5.如权利要求1-4任一所述的方法，其特征在于，所述将所述第一元素分配至第一分区之后，还包括：

确定剩余待处理的元素中包含的剩余数据总量及剩余的分区数量；

根据所述剩余数据总量及剩余的分区数量，确定第二键值；

在确定第三元素中的数据量与所述第二键值的差值的绝对值，小于或等于所述第一阈值时，将所述第三元素分配至第二分区，其中所述第三元素为所述剩余待处理的元素中包含数据量最多的元素，所述第二分区为剩余分区中的任一分区。

6.一种分布式数据处理系统数据分区装置，其特征在于，包括：

第一确定模块，用于根据待使用的分区数量及待处理的元素中包含的数据总量，确定第一键值；

第一处理模块，用于在确定第一元素中的数据量与所述第一键值的差值的绝对值，小于或等于第一阈值时，将所述第一元素分配至第一分区；

其中，所述第一元素为所述待处理的元素中包含数据量最多的元素，所述第一分区为所述待使用的分区中的任一分区；

当所述第一元素中的数据量与所述第一键值的差值大于第二阈值时，所述第一处理模块，还用于：

所述第一元素中的数据分配至至少两个分区；

将所述至少两个分区进行关联，以使所述至少两个分区可以协同完成对所述第一元素的处理。

7.如权利要求6所述的装置，其特征在于，还包括：

获取模块，用于获取待处理的元素信息，其中，所述待处理的元素信息，包括各个元素中包含的数据量；

第二确定模块，用于根据所述各个元素中包含的数据量及各个分区的工作属性，确定所述待使用的分区数量。