[发明专利]一种基于流水线的分布式多表连接方法及系统

说明书

技术领域

本发明涉及分布式数据计算技术，尤其涉及一种基于流水线的分布式多表连接方法及系统。

背景技术

大数据时代的到来，带动了数据量的迅猛增长，急需一种技术来存储和处理如此庞大的数据量，由此，谷歌的DFS(分布式文件系统)和分布式计算模型MapReduce(映射和规约)应运而生，如今分布式计算技术已成为海量数据存储分析的主流技术。对于海量数据分析，连接查询是一种重要的操作，并且在实际应用时，所需的数据可能不仅仅局限于某一个表，而是涉及到多个表，这给连接操作带来了一定的难度。

在执行连接查询之前，首先要对相应数据进行分割，通常的做法是对数据进行哈希分割或范围分割。现有技术中提出了一种自适应的分割方法。此方法使用了一种双阶段的分割算法对数据进行了基于属性的分割：第一阶段，依据连接属性对最顶层数据进行分割；第二阶段，依据数据规模和规约器(reduce)个数对底层数据进行进一步的分割。这样的分割算法保证了每一个分割树都包含单一的连接属性。当这种自适应的分割算法检测到一个包含着新的连接属性的输入查询时，它将以同样的双阶段方法生成一个新的分割树，该分割树以新的查询操作包含的连接属性为划分依据，并且初始状态为空。随着查询操作的进行，这种分割算法将随机地从旧的分割树中选取适当规模的数据进行重分割，并逐渐地将数据移动到新的分割树中，直至新的分割树中包含的数据满足新的查询操作。这种基于双阶段的自适应分割算法可以有效地对数据进行基于连接属性的分割，并且避免了出现包含新的连接属性的查询操作时，全部数据的重新分割，实现了自适应。

然而，这种自适应分割算法主要针对两表连接的情况，如将其应用于多表连接上，则需要首先执行前两个表的连接操作，再把连接的结果看作一个新的表，和下一个表进行连接，以此类推，直到完成所有表的连接。显然这会产生大量的中间结果，造成很大的I/O开销，是一种效率极低的方法，而在实际应用中，多表连接又是非常常见的操作。

发明内容

本发明要解决的技术问题是，针对现有的数据分割方法在应用于对多表进行连接时效率低的缺陷，提供一种基于流水线的分布式多表连接方法及系统。

为了解决上述技术问题，本发明提供了一种基于流水线的分布式多表连接方法，该方法包括并行执行的以下步骤：

A、映射处理单元从分布式文件系统读取待连接表，将所述待连接表进行映射处理后得到对应的数据块，并以每两个待连接表为一组，将第一组表的数据块输出至第一规约处理单元，将第二组至末尾组表的数据块按序输出至第二规约处理单元；

B、第二规约处理单元按序读取第二组至末尾组表的数据块，并对每组表的两个数据块进行哈希连接得到每组表的两表连接结果；

C、第一规约处理单元读取第一组表的两个数据块进行哈希连接后作为初始的多表连接结果，并在等待第二规约处理单元完成一组表的哈希连接后，将当前的多表连接结果与该组表的两表连接结果进行顺序连接以更新多表连接结果，直至所有组表完成连接后输出多表连接结果。

在根据本发明所述的基于流水线的分布式多表连接方法中，所述步骤A包括以下步骤：

在t₁时刻，映射处理单元读取待连接表T₁至T₄，对所述待连接表T₁至T₄进行映射处理后得到对应的数据块B₁至B₄，并将第一组表的数据块B₁和B₂输出至所述第一规约处理单元，将第二组表的数据块B₃和B₄输出至所述第二规约处理单元；

在t_i时刻，其中i＝2,3,…,j-1，j为待连接表的组数；映射处理单元读取待连接表T_2i+1和T_2i+2，对所述待连接表T_2i+1和T_2i+2进行映射处理后得到第i+1组表的数据块B_2i+1至B_2i+2，并输出至第二规约处理单元。

在根据本发明所述的基于流水线的分布式多表连接方法中，所述步骤B包括以下步骤：在t_i时刻，其中i＝2,3,…,j；第二规约处理单元读取第i组表的数据块B_2i-1至B_2i进行哈希连接后得到第i组表的两表连接结果H_i。