[发明专利]一种分布式系统中海量数据的查询方法及装置

说明书

本发明公开了一种分布式系统中海量数据的查询方法及查询装置，其中，所述方法包括：对收到的查询请求进行解析，以得到用于表征业务分析需求的语句所生成的执行任务；根据所述执行任务中的数据文件大小和集群可用内存选择HIVE查询引擎或Impala查询引擎对所述执行任务进行分布式查询，以生成所述执行任务中用于表征业务分析需求的语句对应的新的执行路径。

技术领域

本发明涉及数据查询技术，尤其涉及一种分布式系统中海量数据的查询方法及装置。

背景技术

大数据现在已经进入全球经济的各个部门。就像其他的生产必备要素(例如，硬资产和人力资本)一样，许多现代经济活动离开了它也根本不能发生。大数据的使用正成为领先企业在业绩方面超越其同行的一种重要方式。企业可以利用数据来设计与客户需求更匹配的产品。甚至可以利用数据对使用中的产品进行改进。一个此类例子是，一款能了解使用者习惯和偏好、装有针对这一特定使用者的需求而定制的应用和数据的手机要比一部新的非定制设备更有价值。

为了更有效利用这些数据，提升企业的竞争力，必须有相应的手段来快速、准确、高效地对海量的数据进行分析，挖掘数据中存在的潜在价值，并将其转化成决策的依旧，而作为大数据分析的产品Hadoop应运而生。Hadoop作为一个分布式产品，通过大量廉价的硬件设备组成的集群上运行应用程序，全面地将计算推向数据。HIVE作为一个基于Hadoop的数据仓库平台，它可以将结构化的数据文件映射成一张数据表，通过它，我们可以方便地进行ETL的工作。HIVE定义了一个类似于SQL的查询语言：HQL，能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行，而不需要另外开发专门mapreduce应用，对于数据分析人员来说，基于关系型数据库的SQL的编写已经作为一个基本要求，HIVE的出现将Hadoop上的开发降低了很多门槛。HIVE的提出是作为数据离线数据分析产品，相对的针对大量数据的在线分析产品Impala也随后出现。Impala作为在线分析产品，他要求能够快速的返回用户的查询需求，他最大特点也是最大卖点就是它的快速，他和HIVE一样都是基于hdfs文件系统，都支持类SQL语句。

现有技术存在的问题如下所述：

由于现有HIVE和Impala在处理海量数据分析的时候存在各种的缺陷。就HIVE而言，它是通过将SQL语句自动转化成mapreduce任务，然后通过mapreduce计算框架进行数据分析处理，为此HIVE的性能完全受限于mapreduce本身的性能，而mapreduce框架设计的初衷就是为了面对海量离线数据存储，通过分布式运算来提高处理性能，因而mapreduce底层更多考虑的是如何提升处理的数据量以及增加处理的节点数，而出于对性能方面的考虑会稍后于前面2者。mapreduce处理分成map和reduce 2个阶段，在处理一个查询操作时，mapreduce会先对输入数据文件进行切分(split)，将整个查询分成一连串的map任务(task)，每个map task根据业务需求获取有效数据，即数据筛选，这些task分布在不同的节点上运行，并将这些中间数据结果以key-value的方式进行存储到执行该map task的节点的本地磁盘上，然后在根据key将各节点上的中间数据进行洗牌(shuffle)，再聚集到各个计算节点上进行最终的reduce处理，输出数据文件。在这个过程中，中间数据结果保存在磁盘上，然后又从数据磁盘中读取，通过网络在整个集群中进行数据传输，都会大大影响整个查询的性能，而mapreduce框架追求的是更大规模的集群以及更大量的数据集，这也加剧这部分性能的损耗。当处理的数据集相对海量数据较小时，再调用如此臃肿的框架进行计算，对查询的性能来说影响非常大，可能查询只需要几秒钟，而框架调度上却需要消耗几倍甚至几十倍的时间，对数据分析来说这点让人难以忍受，虽然HIVE针对这种情况提出的简单查询(fetch)的方法，但这种方法的一方面适用性有限，另一方面需要人工的过度干预，效果并不是很理想。