[发明专利]一种用于分布式执行关系型计算指令的方法与设备

说明书

本申请的目的是提供一种用于分布式执行关系型计算指令的方法与设备。所述设备先获取由若干个分布式关系型计算算子构成的关系型计算指令；再根据所述关系型计算指令生成对应的逻辑查询树，其中，所述逻辑查询树包括与所述分布式关系型计算算子相对应的节点；然后，分布式执行所述逻辑查询树以获得所述关系型计算指令所对应的查询结果。与现有技术相比，本申请通过将还没有在分布式上定义标准运算符的语句转换成可分布式处理的算子及关系型计算指令，来实现分布式系统执行如SQL语句的执行方法，实现了传统数据库和分布式处理之间无法消弭的缺口。

技术领域

本申请涉及计算机领域，尤其涉及一种用于分布式执行关系型计算指令的技术。

背景技术

随着大数据时代的到来，为了解决大规模数据并行化计算的需求，Google最早提出了MapReduce的编程模型，并实现了相应的分布式运行系统。由于MapReduce编程模型简单，基本不涉及并行化细节，同时可以完成大部分并行计算需求，所以被广泛接受

大规模数据计算的一大类场景来自于数据仓库，这类需求原本由传统关系型数据库(如Oracle)提供支持，随着数据量的增大，数据仓库需要由传统关系型数据库迁移到分布式集群系统上。分布式集群系统中执行关系型计算在受到很多限制的同时，也提供了更多的选择和功能，这使得传统关系型数据库上描述关系型计算的运算符不能照搬上来。

同时，对于掌握业务逻辑的数据分析人员而言，SQL是一个不可或缺的功能，因此也有很多的分布式系统提供了类SQL功能。例如，Hive(基于Hadoop框架的一个数据仓库工具)，Impala(Cloudera公司主导开发的新型查询系统)，Presto(Facebook开发的数据查询引擎)，tajo(基于Hadoop实现分布式数据仓库系统)，Stinger(一个用于提升Hive效率的工具)，Drill(专为互动分析大型数据集的分布式系统)等，但是这些实现并没有基于一个标准的关系运算符定义，无法应对日益复杂的数据分析需求所要求的、SQL之外的、更灵活的关系型计算描述。

发明内容

本申请的目的是提供一种的用于分布式执行关系型计算指令的方法与设备。

根据本申请的一个方面，提供了一种用于分布式执行关系型计算指令的方法，其中，该方法包括：

获取由若干个分布式关系型计算算子构成的关系型计算指令；

根据所述关系型计算指令生成对应的逻辑查询树，其中，所述逻辑查询树包括与所述分布式关系型计算算子相对应的节点；

分布式执行所述逻辑查询树以获得所述关系型计算指令所对应的查询结果。

根据本申请的另一方面，还提供了一种用于分布式执行关系型计算指令的设备，其中，该设备包括：

第一装置，用于获取由若干个分布式关系型计算算子构成的关系型计算指令；

第二装置，用于根据所述关系型计算指令生成对应的逻辑查询树，其中，所述逻辑查询树包括与所述分布式关系型计算算子相对应的节点；

第三装置，用于分布式执行所述逻辑查询树以获得所述关系型计算指令所对应的查询结果。

与现有技术相比，本申请针对还没有在分布式上定义标准运算符的语句，如SQL语句等，转换成可分布式处理的算子及关系型计算指令，以便由分布式系统来执行，实现了传统数据库和分布式处理之间无法消弭的缺口。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种用于分布式执行关系型计算指令的设备示意图；