[发明专利]一种基于“用归并算法计算一对一join、一对多join”的对位分段并行方法

摘要

本发明提供了一种基于“用归并算法计算一对一join、一对多join”的对位分段并行方法。把数据集A平均分成N段，分完段以后把每段的第一条记录的主键键值读出来，与数据集A对应的数据集B也得分段，根据数据集A中每段的第一条记录的主键键值用二分法找到数据集B中对应的每段第一条记录的关联键键值。找到数据集B中的每一段的起始点以后，对数据集B按起始点进行分段；每个线程分别单独用归并算法计算一对一join同维数据集A和B分的每一个对应关联的段，数据集A和B分的段在计算时只需要各自遍历一次，计算完以后的合并数据集为C，最后再把这些分段计算后的合并数据集C组成最终的数据集D，然后就可以在数据集D中引用需要的记录了。

主权项

一种基于“用归并算法计算一对一join、一对多join”的对位分段并行方法，步骤如下：a.对在外存中的数据集A和B进行如下准备工作，同维数据集关系按照它们的主键排序，主子数据集关系主数据集A按照它的主键排序，子数据集B按关联主键的键排序或者全部和主键有关系的键排序，把这些准备计算join的历史数据集全部保存好；b.把数据集A平均分成N段，分完段以后把每段的第一条记录的主键键值读出来，与数据集A对应的数据集B也得分段，如果不分段数据就不对应出现错位了；c.因为数据集B的关联键与数据集A的主键是对应关系，而数据集B是根据关联键进行排序的，就可以根据数据集A中每段的第一条记录的主键键值用二分法找到数据集B中对应的每段第一条记录的关联键键值；d.找到数据集B中的每一段的起始点以后，对数据集B按起始点进行分段；e.把数据集A和B分成N段以后，每个线程分别单独用归并算法计算一对一join同维数据集A和B分的每一个对应关联的段，数据集A和B分的段在计算时只需要各自遍历一次，计算完以后的合并数据集为C，最后再把这些分段计算后的合并数据集C组成最终的数据集D，然后就可以在数据集D中引用需要的记录了。并行计算一对多join主子数据集A和B的时候，原理和方法同上步骤3、4、5。就是把子数据集主键换成子数据集对应主数据集的关联键。