[发明专利]基于大数据架构的索引聚合的并行处理系统

说明书

本发明提供一种基于大数据架构的索引聚合的并行处理系统。所述系统包括：服务界面，用于向并行SQL服务装置提交并行SQL，并通过元数据服务装置进一步进行校验；并行SQL服务装置，用于提供总体查询服务、索引查询服务和聚合查询服务；元数据服务装置，包括元数据库，数据库系统和权限系统，负责SQL校验、表及数据源的抽取，并负责决定将其跳转至数据库服务装置或索引服务装置及并行SQL的重封装。本发明能够降低传统大数据SQL技术查询的额外开销，且能够对传统SQL语法不能支持多类聚合需求的问题进行扩展。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于大数据架构的索引聚合的并行处理系统。

背景技术

随着近年来网络数据的飞速增长的到来，大数据时代的到来，传统的数据库技术无法满足越来越多的大数据业务系统，而新一代的大数据数据库技术往往无法与索引系统紧密结合，在大量报表计算、聚合统计分析等业务需求上无法有效兼容，其主要原因包含以下两点：

1、现有的常用大数据SQL(Structured Query Language，结构化查询语言)语法(如HiveSQL、Spark-SQL)，在大数据量下往往不能有效的利用索引；

2、标准的数据库SQL语法对大量聚合需求的支持较为局限。

举例说明：当需要同时处理如下需求的SQL时：

SELECT...FROM A WHERE${filter1}GROUP BY${grouping1}

SELECT...FROM A WHERE${filter2}GROUP BY${grouping2}

...

SELECT...FROM A WHERE${filterN}GROUP BY${groupingN}

传统的大数据技术、索引技术及其相关优化方法无法做到仅1次查询A数据统计出全部的结果，因此性能的额外开销将达到约数倍或数十倍；现有的优化方法更多是解决如何更有效的利用索引优化单条SQL的查询性能。

发明内容

本发明提供的基于大数据架构的索引聚合的并行处理系统，能够降低传统大数据SQL技术查询的额外开销，且能够对传统SQL语法不能支持多类聚合需求的问题进行扩展。

第一方面，本发明提供一种基于大数据架构的索引聚合的并行处理系统，包括：

服务界面，用于向并行SQL服务装置提交并行SQL，并通过元数据服务装置进一步进行校验；

并行SQL服务装置，用于提供总体查询服务、索引查询服务和聚合查询服务；

元数据服务装置，包括元数据库，数据库系统和权限系统，负责SQL校验、表及数据源的抽取，并负责决定将其跳转至数据库服务装置或索引服务装置及并行SQL的重封装。

可选地，所述元数据服务装置通过常用的Spark-SQL组件对查询进行统一整合，决定如何将并行SQL描述修饰为可直接处理的SQL语句或非SQL的并行查询计划。

可选地，所述并行SQL服务装置兼容其他传统SQL及大数据相关SQL的优化策略。

可选地，并行SQL语法采用管道方式，系统默认依照管道顺序依次执行，并记录每条并行SQL语句返回的结果。

可选地，所述并行SQL服务装置提供的并行索引聚合语法为：每条聚合并行SQL语句包含一个或多个聚合元素，且衔接search的中间结果集，通过USING关键字指定并行SQL语句所衔接的中间结果集。