[发明专利]数据查询方法及装置

说明书

本发明公开了一种数据查询方法及装置，其中方法包括：将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；实时检测各计算节点的查询处理情况；根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。本发明实施例能够提高查询效率。

技术领域

本发明实施例涉及大数据技术领域，尤其涉及一种数据查询方法及装置。

背景技术

Presto是Facebook开发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。它定义了一个通用的Java数据库连接(Java Data Base Connectivity，JDBC)模块，通过适当的变通就可以连接各种关系型数据库，例如MySQL数据库、ORACLE数据库和SQLServer数据库等。

如图1所示，为现有技术中基于Presto集群架构的网络拓扑结构示意图，Presto集群有多个内部交换机11连接到各个计算节点12中，然后再连接到机房中的上联交换机13，Presto可以配置多种数据源包括MySQL、Oracle、SQL Server、KAFKA和HDFS等。这些数据源与Presto连接也是通过外层的上联交换机13进行通信的，这个上联交换机13可能还连接着其他的业务的服务器或者其他下联交换机，在这个范围内网络资源是共享的，如果网络拥堵可能会影响到好几个业务应用。

在现有技术中，当客户端的数据查询请求比较多时，Presto可能会跨多个数据源进行联合查询，此时Presto将根据所有的数据查询请求同时查询起所有的数据抓取线程，将数据抓取到Presto的计算节点中进行计算，这时Presto计算节点就需要频繁的通过上联交换机与数据源的服务器进行通讯和数据交互，这种状态下就会高频率的出现网络拥堵情况。

发明内容

本发明实施例提供一种数据查询方法及装置，能够提高数据查询效率。

第一方面，本发明实施例提供了一种数据查询方法，包括：

将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；

任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；

实时检测各计算节点的查询处理情况；

根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。

第二方面，本发明实施例还提供一种数据查询装置，包括：

分组模块，用于将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；

分配模块，用于任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；

检测模块，用于实时检测各计算节点的查询处理情况，根据所述查询处理情况指示所述分配模块从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。

本发明实施例通过将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；实时检测各计算节点的查询处理情况；根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。本发明实施例采用分批次处理每个分组的查询请求消息，避免了高频率的出现网络拥堵情况，从而提高查询效率。

附图说明

图1为现有技术提供的Presto数据查询网络拓扑结构示意图；

图2为本发明实施例一提供的数据查询方法的流程示意图；