[发明专利]用于查询计划优化以及数据并行编程模型的共同范围分区

权利要求书

1.一种用于并行计算的数据分区方法，包括：

在执行在计算设备的处理器上的共同范围分区管理器(110)处接收(402)输入数据集，所述输入数据集与多源运算符相关联；

在编译时确定(404)静态执行计划图EPG；

平衡(408)与输入数据集相关联的工作负载，以获得多个近似相等的工作负载分区以便由分布式执行引擎处理；

确定(410)所述分区的多个范围键；以及

根据分区数量N在运行时重写(414)EPG。

2.如权利要求1所述的方法，其特征在于，还包括：

由共同范围分区管理器展示编程API；以及

随所述输入数据集接收对编程API的调用，使得分区进程从用户提取。

3.如权利要求1所述的方法，其特征在于，所述确定范围键还包括：

对所述输入数据集降采样以创建降采样的数据；

形成所述降采样的数据的直方图；以及

从所述直方图确定所述范围键。

4.如权利要求3所述的方法，其特征在于，还包括：

如果键不可比，则确定每个键的散列代码；以及

根据所述范围键的每一个的所述散列代码对所述范围键的每一个排序。

5.如权利要求1所述的方法，其特征在于，根据分区的数量在运行时重写EPG还包括：

使用降采样的数据确定分区的数量N；以及

通过与关联于所述EPG的M节点相关联的共同范围分区管理器将所述M节点拆分为N个副本。

6.如权利要求5所述的方法，其特征在于，还包括，根据关系N＝(子采样数据大小/采样率)/(每分区大小)来确定分区数量N。

7.如权利要求5所述的方法，其特征在于，还包括，通过与M节点和J节点相关联的共同范围分区管理器，将与所述EPG相关联的J节点拆分成N个副本。

8.如权利要求7所述的方法，其特征在于，还包括，根据N＝(输入数据大小)/(分区大小)来确定分区数量N。

9.一种用于并行计算的数据分区系统，包括：

执行在计算设备(130)的处理器上的共同范围分区管理器(110)，所述共同范围分区管理器接收与多源运算符相关联的输入数据集；

高级语言支持系统(120)，在编译时编译所述输入数据集以确定静态执行计划图EPG；以及

分布式执行引擎(130)，根据由所述共同范围分区管理器确定的分区的数量，在运行时重写EPG，

其中所述共同范围分区管理器(110)平衡与所述输入数据集相关联的工作负载，以获得多个近似相等工作负载分区以便由分布式执行引擎(130)处理。

10.如权利要求9所述的系统，其特征在于，所述共同范围分区管理器通过降采样所述输入数据集来创建降采样的数据以确定多个范围键，形成所述降采样的数据的多个直方图，从所述直方图确定所述范围键，为每个键确定散列代码，并根据所述键的每一个的所述散列代码比较键，其中具有相同散列代码的范围键被放置在相同分区中以维持相同键-相同分区恒定性。