[发明专利]一种支持多条件检索和实时分析的大数据处理方法

权利要求书

1.一种支持多条件检索和实时分析的大数据处理方法，其特征在于，包括对数据进行多条件检索过程和实时分析过程，其中所述多条件检索过程包括步骤如下：

S11.随机把用户的查询请求发送到任意一检索索引服务器节点，解析查询，生成查询树；

S12.启动分布式查询，基于检索索引的存储空间数，把查询请求转为多个子查询，并把每个子查询定位到对应的检索索引服务器；

S13.每个子查询把查询结果返回到S11步骤的索引服务器节点；

S14.把各个子查询的查询结果进行合并，最终返回给用户；

所述实时分析过程步骤包括：

S31.通过语法分析器对SQL字符串进行解析生成可执行的Statement实例，然后根据SQL的特征来生成查询计划；

S32.调用优化器检查是否能使用索引表优化查询，根据S31中的查询计划获取索引表中的目标数据，如果有命中索引，则返回命中的经过优化的查询计划，否则返回原查询计划；

S33.从步骤S32返回的查询计划中获取迭代器，且迭代器采用装饰设计模式进行识别，根据识别出的修饰词对迭代器作进一步的封装；

S34.用S33生成的迭代器来获取结果集，结果集中包含了Hbase数据库的扫描器，扫描器会通过RPC协议并行在各个Hbase数据库服务器的索引桶中进行扫描，同时结合协处理器以及自定义的过滤器来完成对数据的分析以及过滤；

S35.将S34中扫描到的数据汇聚到客户端供用户使用。

2.根据权利要求1所述的支持多条件检索和实时分析的大数据处理方法，其特征在于，步骤S11中涉及的检索索引是根据查询条件生成，其步骤包括：

S21.基于Hbase数据库实现WAL机制以及开启复制功能，利用中间件监听所有操作并获得对应的预写日志；

S22.利用自定义的特定的应用规则来从S21中获取到的预写日志中提取、转换和加载需要进行检索索引的数据；

S23.通过哈希算法对检索索引的唯一标识进行计算，从而获得索引所属的储存索引空间，最后把检索索引数据持久化到对应的索引空间中。

3.根据权利要求1所述的支持多条件检索和实时分析的大数据处理方法，其特征在于，实时分析过程中索引桶中分析索引数据是根据分析条件生成，具体包括步骤如下：

S41.Hbase数据库协处理器截取所有写操作，然后把写操作信息写入到主表的WAL中；

S42.为主表创建A、B、C顺序的分析索引，则索引表的行键INDEX_RK＝A+B+C，最终索引表的结构为：INDEX_RK,RK；其中A,B,C为主表的3个列，而RK为主表的行键，INDEX_RK为索引表的行键；在索引表中A,B,C的值按顺序被合成为索引表的行键INDEX_RK；

S43.将分析索引数据分为N个桶进行存储，用一个前缀对S42中合成的INDEX_RK进行加盐，使得分析索引数据平均落到各个索引桶中，做到均衡负载，映射关系为：

FINAL_INDEX_RK＝(index/N)+INDEX_RK；

其中，FINAL_INDEX_RK为最终经过加盐的行键，index为一个全局标记的数字，每次计算完一个FINAL_INDEX_RK后index会递增1，N为索引分桶数；

S44.根据FINAL_INDEX_RK将索引数据路由到相应的索引桶Ni并保存，其中Ni为第i个索引桶。