[发明专利]一种基于Presto和Elasticsearch的大数据查询优化方法

摘要

本发明涉及一种基于Presto和Elasticsearch的大数据查询优化方法，其将所有被查询数据保存在Elasticsearch集群中，然后通过Presto集群接收并解析SQL请求生成相应的抽象语法树和执行计划，将查询条件转换成Elasticsearch查询请求并下发到Elasticsearch中进行预查询。本发明利用Presto SQL解析和Elasticsearch快速查询的优势,在取回数据前尽可能预先过滤部分数据，大幅减少多余数据的读取，以提高条件查询的性能。

主权项

1.一种基于Presto和Elasticsearch的大数据查询优化方法，其特征在于：所述优化方法将被查询的数据保存在Elasticsearch集群的索引中，当用户向Presto集群提交SQL查询请求时，执行以下步骤：步骤1、Presto集群接收并解析SQL查询请求并生成相应的抽象语法树，根据该语法树生成查询执行计划树，该执行计划树为自上而下没有分支的结构；其中，SQL查询请求包含where子句、orderby子句、limit子句中的一个或多个；步骤2、遍历分析执行计划树中的各个节点，具体如下：首先，找出执行计划树Elasticsearch支持的节点，其名称和对应的SQL操作分别为：节点名称功能对应SQL操作FilterNode筛选数据where子句TopNNode排序取前N行orderby子句+limitLimitNode汇总取前N行limit子句TableScanNode读取表中所有数据单一的select查询然后，在TableScanNode中添加一个Query参数，用于下发查询条件；最后，遍历查询计划树中的所有节点，在遍历过程中根据节点类型读取相应条件下发：当发现FilterNode时，表明该SQL查询请求中包含where子句，则通过FilterNode的过滤条件，获取where子句内容，将其传递给首节点TableScanNode中的Query；当发现TopNNode时，表明该SQL查询请求中同时包含orderby和limit子句，则通过TopNNode中的count、offset、orderBy获取orderby和limit子句内容，将其传递给首节点TableScanNode中的Query；当发现LimitNode时，表明该SQL为limit子句单独使用，则通过LimitNode中的count、offset获取翻页参数，将其传递给首节点TableScanNode中的Query；当发现TableScanNode时，说明执行计划的所有节点已遍历完毕,TableScanNode中的Query已包含所有查询条件；步骤3、Presto集群从TableScanNode中获取Query参数，根据参数内容生成相应的查询请求参数，其中，where子句转换为Elasticsearch QueryBuilder中的过滤条件，而order by和limit子句则转换为QueryBuilder中的排序和数据限制条件；步骤4、将步骤3中生成的查询请求Elasticsearch QueryBuilder发往Elasticsearch集群，由Elasticsearch集群进行查询和预先过滤，再将得到的结果返回给Presto集群；步骤5、Presto集群汇总各个节点返回的数据，生成最终结果给用户。