[发明专利]基于列存储的智能双引擎分析系统及方法

说明书

技术领域

本发明涉及智慧城市和大数据处理领域，具体是涉及一种基于列存储的智能双引擎分析系统及方法。

背景技术

随着移动互联网、智能终端、物联网、云计算以及智慧城市的普及，人们逐渐的进入了“大数据”时代。大数据是规模非常巨大和复杂的数据集，数据量达到PB、EB或ZB的级别后，传统数据库的管理工具处理起来面临很多问题，例如获取、存储、检索和分析等。在传统的关系数据库中，一般采用索引和全表扫描的方式来处理查询、分析，索引具有快速定位，对于简单查询高效快速的特点，但是对于一些复杂的统计分析，或者数据挖掘类的应用则一般采取全表扫描的方式。大数据引发了一些问题，如对数据库高并发读写要求、对海量数据的高效率存储和访问需求、对数据库高可扩展性和高可用性的需求，在大数据的环境下，数据量是以前传统关系数据库的成千上百倍，传统的关系数据库的一些技术显得力不从心。

Hadoop是由Apache Software Foundation(阿帕奇软件基金会)维护的一个能够对大量数据进行分布式处理的软件框架，Hadoop带来了廉价的处理大数据的能力。Hadoop是一个庞大的生态系统，为处理大数据提供了各种工具和平台。

HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)被设计成适合运行在通用服务器上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS是hadoop生态系统的基础。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的服务器上搭建起大规模结构化存储集群。HBase可提供类似结构化的存储，在基于主键和范围的查询下，性能优越。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL(Structured Query Language，结构化查询语言)查询功能，它可以将SQL语句转换为MapReduce(映射化简)并行任务进行运行。其优点是学习成本低，并可以通过类SQL语句快速实现简单的MapReduce并行统计，不必开发专门的MapReduce并行应用，十分适合数据仓库的统计分析。

当前，针对大数据的应用，Hadoop现在成为大数据处理的标准工具，而在Hadoop中，都采用Mapreduce来进行数据的批量分析，它将SQL的分解为并行任务在HDFS上进行执行。当数据量大时，对于一些大规模的统计分析任务，MapReduce比传统的关系数据库有更好的扩展性和分析性能。

但是，MapReduce不能区分业务场景，无论是多么简单的查询，MapReduce都会将其转化为扫描全表的并行处理任务，因此在某些定位查找、检索等场景下，MapReduce就显得过于笨重，耗时而且耗费资源。由于文件没有进行结构化的组织，而MapReduce本身非常耗时，因此，在Hadoop环境下，传统的Hive在性能上仍无法满足用户对大规模数据的查询和统计分析需求。

发明内容

本发明的目的是为了克服上述背景技术的不足，提供一种基于列存储的智能双引擎分析系统及方法，既能满足实时性的简单查询，又能有效提高分析大规模数据的性能，满足用户对大规模数据的统计分析要求。

本发明提供一种基于列存储的智能双引擎分析系统，包括HBase存储单元、客户端、智能结构化查询语言SQL路由单元，该系统在用户侧实现智能SQL路由单元；该系统采用HBase存储单元作为底层数据的存储单元，并在HBase存储单元上建立实时查询引擎和批量分析引擎，该系统针对的数据是结构化的关系型数据；

所述HBase存储单元用于：实现对数据的底层存储，在存储数据时，将数据的主键自动映射到HBase的主键上，如果用户的数据还有其他列带有索引，那么通过单独的HBase表来生成二级索引表，二级索引表的主键对应用户表的索引列；

所述客户端用于：接收用户输入的SQL语句，然后将用户输入的SQL语句发送给智能SQL路由单元；

所述智能SQL路由单元用于：对用户输入的SQL语句进行解析，并进行分析和判断，根据分析的结果将SQL路由到实时查询引擎或者批量分析引擎，进行分析和查询；

所述实时查询引擎用于：将使用索引的简单查询转化为HBase的主键查询操作或范围查询操作，通过HBase的主键和索引对数据进行检索、查询和分析；