[发明专利]数据存储查询方法、装置、计算机设备及存储介质

说明书

本发明涉及数据存储查询方法、装置、计算机设备及存储介质，该方法包括获取需存储的数据；暂存需存储的数据至kafka队列服务器，以得到暂存数据；采用spark streaming消费暂存数据，以得到中间数据；获取中间数据在HBase表内的真正HRegion位置，以得到存储位置；将中间数据写入存储位置内，以得到写入结果；根据写入结果建立二级索引；反馈二级索引以及写入结果；获取查询请求；根据查询请求获取查询结果；反馈查询结果。本发明实现针对大文件数据的写入时，不影响写入性能，在进行查询时，查询效率高，且有效满足真实场景中复杂多样的业务存储查询需求。

技术领域

本发明涉及智慧城市数据处理方法，更具体地说是指数据存储查询方法、装置、计算机设备及存储介质。

背景技术

随着智慧城市的快速发展，视频、图片和文本等基础数据采集手段被广泛应用，引发了短时间内生产的海量视频、图片和文本数据无法快速存储和处理，从而严重影响数据时效性价值问题。如何快速高效的分析数据带来的价值，首先需要解决的问题是如何高效的存储，然后是如何快速的查询。

传统的数据管理、存储无法满足需求，现有的HDFS(分布式文件系统，HadoopDistributed File System)是为处理大文件而量身定做，若直接用来存储小文件，则会由于元数据膨胀，在扩展性和性能方面均存在严重问题。HBase(分布式存储系统，HadoopDatabase)是基于HDFS的海量非结构化数据存储技术，具有很好的线性扩展能力，可被用来存储海量小文件，并具有系统层小文件合并、全局名字空间等多种优势，然而在实际应用中，存在着性能和延时问题，总的来说，主要表现在如下几个方面：存储含有大量大文件数据时，由于HRegion的分裂和合并操作触发过于频繁，严重影响数据的写入性能；根据非主键进行查询时，只能通过扫描全表或者使用MapReduce框架扫描全表获得想要的数据，无法满足实时查询需求，查询效率低下。

因此，有必要设计一种新的方法，实现针对大文件数据的写入时，不影响写入性能，在进行查询时，查询效率高，且有效满足真实场景中复杂多样的业务存储查询需求。

发明内容

本发明的目的在于克服现有技术的缺陷，提供数据存储查询方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：数据存储查询方法，包括：

获取需存储的数据；

暂存需存储的数据至kafka队列服务器，以得到暂存数据；

采用spark streaming消费暂存数据，以得到中间数据；

获取中间数据在HBase表内的真正HRegion位置，以得到存储位置；

将中间数据写入存储位置内，以得到写入结果；

根据写入结果建立二级索引；

反馈所述二级索引以及写入结果；

获取查询请求；

根据查询请求获取查询结果；

反馈所述查询结果。

其进一步技术方案为：所述采用spark streaming消费暂存数据，以得到中间数据，包括：

启动Receiver异步线程从kafka队列服务器内获取暂存数据，以得到初始数据；

暂存所述初始数据；

将初始数据转移至Executor内以进行处理，得到中间数据。

其进一步技术方案为：所述采用spark streaming消费暂存数据，以得到中间数据之后，还包括：

更新分布式协调服务内的偏移量。