[发明专利]用于分布式数据仓库的连接查询系统和方法

权利要求书

1.一种用于分布式数据仓库的连接查询系统，包括主节点、映射工作节点和规约工作节点，其中：

主节点根据数据表的大小和系统性能来计算分片大小，基于计算得到的分片大小向映射工作节点分配数据块，并且规定映射工作节点中的分片映射规则和汇总规则；

映射工作节点根据分片映射规则将数据块中的查询关键字映射到相应的分片编号，并根据汇总规则把具有相同分片编号的数据传输到指定的规约工作节点；

规约工作节点接收映射工作节点传输的数据，合并具有相同分片编号的数据并按照查询关键字进行连接，以获得最终的连接查询结果。

2.根据权利要求1所述的用于分布式数据仓库的连接查询系统，其中，主节点包括：

分片大小和数量计算单元，获取系统中每一个映射工作节点的物理资源配置信息，根据数据表的大小和所获得的物理资源配置信息来计算每一个映射工作节点所对应的分片大小以及每一个数据表所对应的分片数量；以及

分片处理调度器，将每一个数据表按照相应的分片大小进行划分以传输至每一个映射工作节点，并规定每一个映射工作节点中的分片映射规则和汇总规则。

3.根据权利要求1所述的用于分布式数据仓库的连接查询系统，其中，映射工作节点包括：

存储单元，接收主节点传输的数据块；

映射和分片处理单元，根据分片映射规则将数据块中的查询关键字映射到特定的分片编号，并把具有相同分片编号的数据存储在同一个数据集中；以及

定向分发单元，根据汇总规则将各个数据集中存储的数据分别传输到指定的规约工作节点。

4.根据权利要求1所述的用于分布式数据仓库的连接查询系统，其中，规约工作节点包括：

规约单元，接收从映射工作节点传输来的数据，合并具有相同分片编号的数据以形成分片数据文件；

表分片存储单元，存储分片数据文件；以及

连接排序单元，将分片数据文件中的数据按照查询关键字进行连接和排序，以输出最终的连接查询结果。

5.根据权利要求1所述的用于分布式数据仓库的连接查询系统，其中，分片映射规则包括按照查询关键字的值区间进行分片映射。

6.根据权利要求1所述的用于分布式数据仓库的连接查询系统，其中，分片映射规则包括基于查询关键字的哈希函数值进行分片映射。

7.根据权利要求2所述的用于分布式数据仓库的连接查询系统，其中，映射工作节点的物理资源配置信息包括映射工作节点的空闲内存容量。

8.根据权利要求7所述的用于分布式数据仓库的连接查询系统，其中，分片大小和数量计算单元计算每一个映射工作节点的空闲内存容量与映射任务个数的商，把计算得到的商与该映射工作节点的虚拟机内存上限值进行比较，取两者中的较小值作为该映射工作节点所对应的分片大小。

9.根据权利要求4所述的用于分布式数据仓库的连接查询系统，其中，规约工作节点还包括：

全局分片索引单元，针对特定的查询关键字建立全局索引表，该全局索引表包括分片编号、对应的分片存储节点、数据表名称和分片数据文件的路径。

10.根据权利要求9所述的用于分布式数据仓库的连接查询系统，其中，当再次查询已经建立了全局索引表的查询关键字时，访问全局索引表，直接加载相应的分片数据文件。

11.根据权利要求1-10中任意一项所述的用于分布式数据仓库的连接查询系统，其中，所述分布式数据仓库包括并行关系数据库。

12.一种用于分布式数据仓库的连接查询方法，包括：

在主节点处，根据数据表的大小和系统性能来计算分片大小，基于计算得到的分片大小向映射工作节点分配数据块，并且规定映射工作节点中的分片映射规则和汇总规则；

在映射工作节点处，根据分片映射规则将数据块中的查询关键字映射到相应的分片编号，并根据汇总规则把具有相同分片编号的数据传输到指定的规约工作节点；

在规约工作节点处，接收映射工作节点传输的数据，合并具有相同分片编号的数据并按照查询关键字进行连接，以获得最终的连接查询结果。