[发明专利]一种基于Presto和Elasticsearch的大数据查询优化方法

说明书

本发明涉及一种基于Presto和Elasticsearch的大数据查询优化方法，其将所有被查询数据保存在Elasticsearch集群中，然后通过Presto集群接收并解析SQL请求生成相应的抽象语法树和执行计划，将查询条件转换成Elasticsearch查询请求并下发到Elasticsearch中进行预查询。本发明利用Presto SQL解析和Elasticsearch快速查询的优势,在取回数据前尽可能预先过滤部分数据，大幅减少多余数据的读取，以提高条件查询的性能。

技术领域

本发明涉及大数据的快速查询方法，特别提供了一种基于Presto和Elasticsearch的大数据查询优化方法。

背景技术

Elasticsearch是一个建立在全文搜索引擎Apache Lucene^TM基础上的实时分析的分布式搜索引擎，它使用Lucene作为核心来实现所有索引和搜索的功能，使得每个文档的内容都可以被索引、搜索、排序、过滤。但elasticsearch缺乏传统的SQL语法支持，开发人员使用较难，以关系型数据库为基础的系统其数据迁移、对接工作也不易进行。而Presto可为Elasticsearch提供基本的SQL语法支持，但其基于内存的查询机制也需要把几乎全量的目标数据预读到集群内存中，而最终用户所需要的数据只是海量数据中的几十条甚至几条，过程中消耗大量的服务器资源和时间用于多余数据的读取和过滤，导致查询效率大幅度下降。

发明内容

本发明的目的在于提供一种基于Presto和Elasticsearch的大数据查询优化方法，其使用Presto集群进行SQL的接收和解析，利用 Elasticsearch快速查询和过滤的特性，在Elasticsearch集群中预先过滤部分数据，减少多余数据的读取，实现数据的快速查询。

为实现上述目的，本发明采用的技术方案是：

一种基于Presto和Elasticsearch的大数据查询优化方法，所述优化方法将被查询的数据保存在Elasticsearch集群的索引中，当用户向 Presto集群提交SQL查询请求时，执行以下步骤：

步骤1、Presto集群接收并解析SQL查询请求并生成相应的抽象语法树，根据该语法树生成查询执行计划树，该执行计划树为自上而下没有分支的结构；

其中，SQL查询请求包含where子句、order by子句、limit子句中的一个或多个；

步骤2、遍历分析执行计划树中的各个节点，具体如下：

首先，找出执行计划树中Elasticsearch支持的节点，其名称和对应的SQL操作分别为：