[发明专利]用于对分片数据集合执行内联接的方法和系统

权利要求书

1.一种计算机实施的方法，包括：

接收请求以对包括第一键值对集合的第一输入和包括第二键值对集合的第二输入的存储数据执行内联接；

通过一个或多个处理器确定块大小，所述块大小是要被划分为块的值的目标数量；

通过所述一个或多个处理器针对每个键将所述第一输入中的值划分为第一块集合；

通过所述一个或多个处理器针对每个键将所述第二输入中的值划分为第二块集合；

通过所述一个或多个处理器针对每个键通过相同键的所述第二块集合中的块数量来复制所述第一块集合，以获得第一复制块集合；

通过所述一个或多个处理器针对每个键通过相同键的所述第一块集合中的块数量来复制所述第二块集合，以获得第二复制块集合；

通过所述一个或多个处理器将块-键分配给所述第一复制块集合中的每个复制块和所述第二复制块集合中的每个复制块，所述块-键包括所述键和标识所述复制块的附加信息；

通过所述一个或多个处理器将具有匹配块-键的每个复制块对分布到多个计算设备中的一个计算设备以进行处理；以及

从所述多个计算设备中的每一个计算设备接收所述内联接的结果，所述内联接的所述结果包括来自所述复制块对中的一个复制块对的至少一个值对。

2.根据权利要求1所述的方法，其中，确定所述块大小基于所述多个计算设备的总数、所述多个计算设备的处理能力或者以每个块的值数量为单位的均匀性中的至少一个。

3.根据权利要求2所述的方法，其中，所述块大小是块-键映射不会使所述多个计算设备中的任何一个耗尽操作内存的最小块大小。

4.根据权利要求1所述的方法，其中，所述第一输入中的值的划分或者所述第二输入中的值的划分中的至少一个基于均匀分布。

5.根据权利要求1所述的方法，其中，所述块-键包括第一索引，当所述第一输入中的所述值被划分为所述第一块集合并且所述第二输入中的所述值被划分为所述第二块集合时，所述第一索引被按顺序分配。

6.根据权利要求1所述的方法，其中，所述块-键包括第二索引，当所述第一块集合和第二块集合被复制时，所述第二索引被按顺序分配。

7.根据权利要求1所述的方法，进一步包括：

将包含所有所述块-键的块-键映射发送到所述多个计算设备中的每一个计算设备。

8.根据权利要求1所述的方法，其中，到所述多个计算设备的所述分布基于所述块大小、复制块对的总数、所述多个计算设备的总数或者所述多个计算设备的处理能力中的至少一个。

9.根据权利要求1所述的方法，进一步包括：

通过以每个块大小的间隔对所述第一输入或所述第二输入中的至少一个进行采样，通过所述一个或多个处理器针对所述第一输入或所述第二输入中的至少一个估计每个键所需的块的近似数量。

10.根据权利要求9所述的方法，进一步包括：

通过键对所述第一输入或所述第二输入中的至少一个的键-值对进行分组；

基于所述近似数量的块中的每一个包含块大小数量的值的假设，针对每个键确定值的剩余数量；以及

基于所述键的所述值的剩余数量，调整一个或多个键所需的块的所述近似数量。

11.根据权利要求10所述的方法，其中，当所述键的所述值的剩余数量大于预定阈值时，一个或多个键所需的块的所述近似数量被调整。

12.根据权利要求9所述的方法，进一步包括：

确定在所述采样期间一个或多个键被省略；以及

设置在所述采样期间省略的所述一个或多个键所需的块的近似数量。

13.根据权利要求1所述的方法，其中，所述第一输入或所述第二输入中的至少一个作为碎片被存储在多个所选的计算设备上。