[发明专利]一种SparkBroadcasthashjoin操作的改进方法

权利要求书

1.一种Spark Broadcasthashjoin操作的改进方法，其特征在于，包括：

获取小表，并获取小表中key值被大表查找的先验概率；

依据先验概率对小表中的key从大到小进行排序，得到一个新的有序表；

利用所述新的有序表构建哈希表，将哈希表广播到各个节点；

在各个节点获取大表内容，将大表内容与哈希表中的匹配项进行连接。

2.如权利要求1所述的方法，其特征在于，小表中的每个key均对应一个先验概率。

3.如权利要求2所述的方法，其特征在于，所述利用所述新的有序表构建哈希表，包括：

逐行计算小表中每行key的哈希值，将具有相同哈希值的key对应的关键字都依次放在同一个链表中，构成哈希表。

4.如权利要求3所述的方法，其特征在于，所述哈希值为关键字的哈希地址。

5.如权利要求4所述的方法，其特征在于，所述将具有相同哈希值的key对应的关键字都依次放在同一个链表中，构成哈希表之后，还包括：采用数组存放各个链表的头指针。

6.如权利要求5所述的方法，其特征在于，链表的数目和哈希地址的数目相同。

7.如权利要求1至6中任意一项所述的方法，所述将大表内容与哈希表中的匹配项进行连接，包括：

计算大表中各行key的哈希值，在哈希表中查找哈希值相同的匹配项，将大表内容与匹配项进行连接。