[发明专利]数据查询方法、装置及系统

说明书

技术领域

本发明涉及数据存储领域，特别涉及一种数据查询方法、装置及系统。

背景技术

MySQL数据库是一种被广泛使用的数据库。随着数据访问压力的几何倍速增长，单个MySQL数据库的存储能力以及查询能力都会越来越成为数据系统的瓶颈。

目前常采用多个MySQL数据库组成数据库集群来共同提供服务，通过把原始存储在单个MySQL中的表进行水平分区后，存放到多个MySQL数据库的多张分区表中，每个分区表存储原表中的一部分数据，从而满足大规模的数据库存储需求。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：对于单一的数据表，支持各种各样灵活的查询SQL语句；但对于多张关联的分区表，由于每张分区表只存储原表的一部分数据，所以无法支持一些关系型查询和统计功能。

发明内容

为了解决对于多张关联的分区表无法支持一些关系型查询和统计功能的问题，本发明实施例提供了一种数据查询方法、装置及系统。所述技术方案如下：

第一方面，提供了一种数据查询方法，用于与数据库集群相连的并行数据仓库工具Hive中，所述方法包括：

获取针对所述数据库集群的HQL查询语句，所述HQL查询语句中指定的Hive表对应于所述数据库集群中关联的至少两张分区表；

根据所述HQL查询语句生成MapReduce执行计划；

将所述MapReduce执行计划发送给并行计算架构Hadoop；

接收所述Hadoop反馈的查询结果，所述查询结果是所述Hadoop根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务后，通过Reduce化简任务汇总每个Mapper映射任务的查询结果得到的。

可选地，所述根据所述HQL查询语句生成MapReduce执行计划，包括：

获取所述HQL查询语句所指定的Hive表在所述数据库集群对应的分区描述信息；

根据所述HQL查询语句、所述Hive表和所述Hive表的分区描述信息生成所述MapReduce执行计划。

可选地，所述获取所述HQL查询语句所指定的Hive表在所述数据库集群对应的分区描述信息，包括：

预先存储所述数据库集群的连接信息；根据所述连接信息从所述数据库集群获取所述分区描述信息；

或，

获取预先存储的所述分区描述信息。

可选地，所述根据所述HQL查询语句、所述Hive表和所述Hive表的分区描述信息生成所述MapReduce执行计划，包括：

根据所述HQL查询语句确定所述数据库集群中每个分区表所对应的查询条件；

根据所述Hive表生成所述数据库集群在所述Hadoop中的输入格式；

将所述查询条件、所述分区描述信息和所述数据库集群在所述Hadoop中的输入格式生成为所述MapReduce执行计划的内容。

第二方面，提供了一种数据查询方法，用于与数据库集群相连的并行计算架构Hadoop中，所述方法包括：

获取MapReduce执行计划，所述MapReduce执行计划是并行数据仓库工具Hive根据针对所述数据库集群的HQL查询语句生成的，所述HQL查询语句指定的Hive表对应于所述数据库集群中关联的至少两张分区表；

根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务进行查询；

通过Reduce化简任务汇总每个Mapper映射任务的查询结果；

向所述Hive反馈汇总后的查询结果。

可选地，所述根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务，包括：

根据所述分区描述信息和所述数据库集群在所述Hadoop中的输入格式将所述数据库集群的各个分区表转换为各自对应的输入分片；

对于每个所述输入分片，启动相应的所述Mapper映射任务执行相应分区表的查询。

可选地，所述对于每个所述输入分片，启动相应的所述Mapper映射任务执行相应分区表的查询，包括：

对于每个所述映射任务，根据所述Mapper映射任务所对应的分区表所对应的查询条件生成分区查询语句；

通过所述分区查询语句在所述分区表对应的输入分片中读取数据作为查询结果。

第三方面，提供了一种数据查询装置，用于与数据库集群相连的并行数据仓库工具Hive中，所述装置包括：