[发明专利]基于列存储的智能双引擎分析系统及方法

权利要求书

1.一种基于列存储的智能双引擎分析系统，包括HBase存储单元、客户端、智能结构化查询语言SQL路由单元，该系统在用户侧实现智能SQL路由单元；其特征在于：该系统采用HBase存储单元作为底层数据的存储单元，并在HBase存储单元上建立实时查询引擎和批量分析引擎，该系统针对的数据是结构化的关系型数据；

所述HBase存储单元用于：实现对数据的底层存储，在存储数据时，将数据的主键自动映射到HBase的主键上，如果用户的数据还有其他列带有索引，那么通过单独的HBase表来生成二级索引表，二级索引表的主键对应用户表的索引列；

所述客户端用于：接收用户输入的SQL语句，然后将用户输入的SQL语句发送给智能SQL路由单元；

所述智能SQL路由单元用于：对用户输入的SQL语句进行解析，并进行分析和判断，根据分析的结果将SQL路由到实时查询引擎或者批量分析引擎，进行分析和查询；

所述实时查询引擎用于：将使用索引的简单查询转化为HBase的主键查询操作或范围查询操作，通过HBase的主键和索引对数据进行检索、查询和分析；

所述批量分析引擎是Hive在HBase存储单元上的实现，对于复杂的统计和分析，实时查询引擎无法完成，批量分析引擎将复杂的统计和分析转化为映射化简MapReduce的并行任务，然后由MapReduce任务在HBase存储单元的底层存储文件HFile上直接进行并行分析和处理。

2.如权利要求1所述的基于列存储的智能双引擎分析系统，其特征在于：所述批量分析引擎包括编译器、执行器和元数据管理模块，编译器用于将SQL语句转化为MapReduce任务；执行器用于执行MapReduce任务，MapReduce任务直接在HBase的底层存储文件HFile上进行；元数据管理模块用于管理HBase存储单元存储的数据表，进行数据表的建立、删除和修改操作。

3.适用于权利要求1或2所述系统的基于列存储的智能双引擎分析方法，其特征在于，包括以下步骤：

S1、用户在客户端输入SQL语句，客户端将用户输入的SQL语句发送到智能SQL路由单元，智能SQL路由单元在用户侧截获用户输入的SQL语句；

S2、智能SQL路由单元分析用户输入的SQL语句的类型，判断用户输入的SQL语句是数据定义语句，还是数据操作语句，如果用户输入的SQL语句是数据定义语句，则转到步骤S3；如果用户输入的SQL语句是数据操作语句，则转到步骤S4；

S3、如果用户输入的SQL语句是数据定义语句，智能SQL路由单元将该SQL语句路由到批量分析引擎，批量分析引擎的元数据管理模块根据数据定义语句的要求进行表的建立、删除和修改操作；

S4、如果用户输入的SQL语句是数据操作语句，判断该SQL语句是否为选择select语句，如果是select语句，则转到步骤S5；如果不是select语句，则转到步骤S7；

S5、如果select语句的查询条件是单列或双列，并且其中任意一列建有索引，则转到步骤S6；否则，转到步骤S7；

S6、智能SQL路由单元将该SQL语句路由到实时查询引擎进行查询：实时查询引擎根据用户的SQL语句找出对应的主键列或索引列，如果是主键列，则直接在HBase存储单元的表里，用HBase存储单元的编程接口进行快速查找；如果是索引列，则在索引表里利用HBase存储单元的编程接口进行快速查找，找到主键位置，然后再从主键表中进行查找；

S7、智能SQL路由单元将该SQL语句路由到批量分析引擎进行进行并行的查找和分析：批量分析引擎先进行一个刷新操作，将HBase存储单元缓存在内存中的数据，刷新到磁盘中，HBase存储单元在磁盘中保存文件的格式是以HFile格式来保存的；然后对HBase存储单元的底层存储文件进行分割操作，分割后形成一个个的文件块；再将文件块作为MapReduce的并行输入，进行并行的查找和分析。