[发明专利]一种基于流水线的分布式多表连接方法及系统

摘要

本发明涉及一种基于流水线的分布式多表连接方法及系统，其中方法包括并行执行的以下步骤映射处理单元从分布式文件系统读取待连接表，将所述待连接表进行映射处理后得到对应的数据块，并以每两个待连接表为一组输出；第二规约处理单元按序读取第二组至末尾组表的数据块，并对每组表的两个数据块进行哈希连接得到每组表的两表连接结果；第一规约处理单元读取第一组表的两个数据块进行哈希连接后作为初始的多表连接结果，并在等待第二规约机器群完成一组表的哈希连接后，将当前的多表连接结果与该组表的两表连接结果进行顺序连接，直至所有组表完成连接。本发明通过并行执行的流水线，既实现了查询操作时自适应分割，又能快速高效的完成。

主权项

一种基于流水线的分布式多表连接方法，其特征在于，该方法包括并行执行的以下步骤：A、映射处理单元从分布式文件系统读取待连接表，将所述待连接表进行映射处理后得到对应的数据块，并以每两个待连接表为一组，将第一组表的数据块输出至第一规约处理单元，将第二组至末尾组表的数据块按序输出至第二规约处理单元；B、第二规约处理单元按序读取第二组至末尾组表的数据块，并对每组表的两个数据块进行哈希连接得到每组表的两表连接结果；C、第一规约处理单元读取第一组表的两个数据块进行哈希连接后作为初始的多表连接结果，并在等待第二规约处理单元完成一组表的哈希连接后，将当前的多表连接结果与该组表的两表连接结果进行顺序连接以更新多表连接结果，直至所有组表完成连接后输出多表连接结果；所述步骤A包括以下步骤：在t1时刻，映射处理单元读取待连接表T1至T4，对所述待连接表T1至T4进行映射处理后得到对应的数据块B1至B4，并将第一组表的数据块B1和B2输出至所述第一规约处理单元，将第二组表的数据块B3和B4输出至所述第二规约处理单元；在ti时刻，其中i＝2,3,…,j‑1，j为待连接表的组数；映射处理单元读取待连接表T2i+1和T2i+2，对所述待连接表T2i+1和T2i+2进行映射处理后得到第i+1组表的数据块B2i+1至B2i+2，并输出至第二规约处理单元；且该步骤A的映射处理为自适应的双阶段分割；所述步骤B包括以下步骤：在ti时刻，其中i＝2,3,…,j；第二规约处理单元读取第i组表的数据块B2i‑1至B2i进行哈希连接后得到第i组表的两表连接结果Hi；所述步骤C包括以下步骤：在t2时刻，第一规约处理单元读取第一组表的数据块B1至B2进行哈希连接后作为初始的多表连接结果S1；在ti时刻，其中i＝3,4,…,j+1；第一规约处理单元在等待第二规约处理单元完成第i‑1组表的哈希连接后，将当前的多表连接结果Si‑2与第i‑1组表的两表连接结果Hi‑1进行顺序连接得到更新的多表连接结果Si‑1。