[发明专利]一种SQL高效计算和访问的方法、组件及系统

说明书

本发明公开了一种SQL高效计算和访问的方法、组件及系统，本技术方案将会修改CALCITE源码来实现元数据和汇总表的物理存储，将元数据和汇总表存储在外储存器，利用外储存器断电后数据不会丢失的特性，解决CALCITE服务停止运行带来的影响，同时，由于CALCITE解析得到的元数据被同时存储在RAM和外储存器中，当CALCITE接收到处理过的SQL语句时，在系统没出现过停止运行的情况下可以直接读取RAM中的元数据，根据元数据在外储存器中匹配执行结果；即使系统出现过停止运行的情况，也可以直接读取外储存器中的元数据，根据元数据在外储存器中匹配执行结果。

技术领域

本发明涉及数据查询领域，特别涉及一种SQL高效计算和访问的方法、组件及系统。

背景技术

结构化查询语言(StructuredQueryLanguage)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统，可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套，这使它具有极大的灵活性和强大的功能。

ApacheCALCITE是一款开源SQL解析工具，可以将各种SQL语句解析成抽象语法术AST(AbstractSyntaxTree)，之后通过操作AST就可以把SQL中所要表达的算法与关系体现在具体代码之中。CALCITE的生前为Optiq(也为Farrago)，为Java语言编写，通过十多年的发展，在2013年成为Apache旗下顶级项目，并还在持续发展中，该项目的创始人为JulianHyde，其拥有多年的SQL引擎开发经验，目前在Hortonworks工作，主要负责CALCITE项目的开发与维护。目前，使用CALCITE作为SQL解析与处理引擎有Hive、Drill、Flink、Phoenix和Storm，可以肯定的是还会有越来越多的数据处理引擎采用CALCITE作为SQL解析工具。

当前CALCITE的元数据和汇总表都是储在内存中，一旦服务意外或其他原因停止运行，那么这些数据将会全部丢失，这样会导致下次访问时全部重新解析计算存储。本技术方案将会修改CALCITE源码来实现元数据和汇总表的物理存储，解决CALCITE服务停止运行带来的影响。

发明内容

本发明的目的在于：提供了一种SQL高效计算和访问的方法、组件及系统，解决了当前CALCITE的元数据和汇总表都是储在内存中，一旦服务意外或其他原因停止运行，那么这些数据将会全部丢失，这样会导致下次访问时全部重新解析计算存储的问题。

本发明采用的技术方案如下：

一种SQL高效计算和访问的方法，包括RAM和外储存器，还包括以下步骤：

S1、使用CALCITE工具对SQL语句进行解析得到元数据；

S2、将步骤S1中得到的元数据与RAM和外储存器中记载的历史元数据进行匹配，若匹配到历史元数据，则转入步骤S4，若未匹配到历史元数据，则转入步骤S3；

S3、将步骤S1中得到的元数据作为历史元数据存入RAM和外储存器，执行步骤S1中的SQL语句，将执行结果存储到外储存器中

S4、CALCITE工具对SQL语句进行重写并调用外储存器中储存的对应的执行结果；

S5、将步骤S3和步骤S4得到的执行结果进行展示。