[发明专利]数据存储查询方法、装置、计算机设备及存储介质

权利要求书

1.数据存储查询方法，其特征在于，包括：

获取需存储的数据；

暂存需存储的数据至kafka队列服务器，以得到暂存数据；

采用spark streaming消费暂存数据，以得到中间数据；

获取中间数据在HBase表内的真正HRegion位置，以得到存储位置；

将中间数据写入存储位置内，以得到写入结果；将中间数据写入存储位置内的过程中，是采用文件记录数据的方式，首先写入WAL预写式日志中，同时也写入MemStore内存中，当MemStore中的数据达到阈值时，首先判断用户是否已经开启大文件刷新机制，如果开启，直接把数据写入大文件区即HFile中，然后把文件链接地址存储到对应大文件列族中，如果未开启，用HBase表本身的刷新机制直接把数据写入大文件区中；

根据写入结果建立二级索引；

反馈所述二级索引以及写入结果；

获取查询请求；

根据查询请求获取查询结果；

反馈所述查询结果。

2.根据权利要求1所述的数据存储查询方法，其特征在于，所述采用spark streaming消费暂存数据，以得到中间数据，包括：

启动Receiver异步线程从kafka队列服务器内获取暂存数据，以得到初始数据；

暂存所述初始数据；

将初始数据转移至Executor内以进行处理，得到中间数据。

3.根据权利要求1所述的数据存储查询方法，其特征在于，所述采用spark streaming消费暂存数据，以得到中间数据之后，还包括：

更新分布式协调服务内的偏移量。

4.根据权利要求1至3任一项所述的数据存储查询方法，其特征在于，所述获取中间数据在HBase表内的真正HRegion位置，以得到存储位置，包括：

根据中间数据从分布式协调服务内调取根表所在的位置；

根据根表所在的位置获取对应的元数据表所在的HRegion位置，以得到中间数据在HBase表内的真正HRegion位置。

5.根据权利要求1所述的数据存储查询方法，其特征在于，所述根据写入结果建立二级索引，包括：

获取基于HBase的协处理器针对写入结果拓展的二级索引；

将二级索引存储于基于ElasticSearch的分布式索引服务器。

6.根据权利要求1所述的数据存储查询方法，其特征在于，所述查询请求是从用户终端生成的查询脚本，且根据该查询脚本在基于ElasticSearch的分布式索引服务器内进行检索所得到要查询的行键。

7.数据存储查询装置，其特征在于，包括：

数据获取单元，用于获取需存储的数据；

第一暂存单元，用于暂存需存储的数据至kafka队列服务器，以得到暂存数据；

消费单元，用于采用spark streaming消费暂存数据，以得到中间数据；

存储位置获取单元，用于获取中间数据在HBase表内的真正HRegion位置，以得到存储位置；

写入结果获取单元，用于将中间数据写入存储位置内，以得到写入结果；将中间数据写入存储位置内的过程中，是采用文件记录数据的方式，首先写入WAL预写式日志中，同时也写入MemStore内存中，当MemStore中的数据达到阈值时，首先判断用户是否已经开启大文件刷新机制，如果开启，直接把数据写入大文件区即HFile中，然后把文件链接地址存储到对应大文件列族中，如果未开启，用HBase表本身的刷新机制直接把数据写入大文件区中；

二级索引建立单元，用于根据写入结果建立二级索引；

第一反馈单元，用于反馈所述二级索引以及写入结果；

查询请求获取单元，用于获取查询请求；

查询结果形成单元，用于根据查询请求获取查询结果；

第二反馈单元，用于反馈所述查询结果。