[发明专利]一种针对海量数据进行快速检索方法

说明书

本发明公开了一种针对海量数据进行快速检索方法，步骤如下：构建海量数据存储系统；对上述海量数据存储系统中的数据建立二级索引；启动数据检索服务，并监听Http请求；对接收到Client发送的Http请求进行解析生成索引检索条件，向ElasticSearch索引服务发起索引检索请求并获得响应结果；根据所述响应结果对应的数据的ROWKEY，向Hbase服务中读取ROWKEY对应的结构化数据，对检索出的结构化数据进行解析并返回。本发明方法能够根据多条件快速检索海量数据，并在非常短的时间范围内返回查询结果，以最小的代价解决目前已有技术方案的缺陷。

技术领域

本发明属于大数据快速检索技术领域，具体指代一种针对海量数据进行快速检索方法。

背景技术

随着社会和科技的发展，每天在不同领域都有海量的数据产生，而这些数据的存储和使用成为一个非常具有挑战的技术难题。比如在交通行业，一个300万级人口的县级市，视频检测器产生的车辆经过数据达1000万条。普通事务型信息管理系统通过关系型数据存储这些数据，在开始的一年内，这些数据的检索还可以正常进行，等到数据量积累到两年以上甚至更久，就会发现查询方法和存储设计已经优化到极致，但是仍然无法在短时间内查询到要查找的数据。如何更有效的存储海量数据并通过某种技术来实现快速检索成为亟待解决的问题。

目前，大多数在建系统的解决方案是通过增加关系型数据库的存储节点，并建立非常多的索引来实现快速检索，但是索引的维护成本非常高，一旦数据有变动，索引就会出现大批量重建的情况，因为索引和数据是运行在同一个数据库实例中，索引的重建直接影响到数据库的性能，并且正在执行的查询操作会受到影响。

目前有两种基于大数据技术实现快速查询方案，如下：

1、把数据存储到分布式列式数据库HBase中，为了实现根据条件进行快速查询，需要根据查询条件对HBase的RowKey进行设计，RowKey中要包含所有的查询条件，通过RowKey实现全局唯一索引的功能。但是存在一个重大缺陷，一旦查询条件变化，RowKey需要重新设计，原来的主数据不能使用了，需要重新根据新的RowKey生成数据，会导致同一份业务数据需要根据不同的RowKey存储多份，存储空间造成巨大的浪费。这几乎是致命的问题。

2、同样需要把数据存储到分布式列式数据库HBase中，并需要根据查询条件设计出二级索引，只不过在表中存储主数据的同时，同时把二级索引存储和主数据一起存储到一个存储区域内，这样在查询数据的时候，先定位到二级索引，然后根据二级索引在同样的区域内，直接定位到主数据。这样做的好处是索引和主数据在同一个存储区内，省去了跨节点再次检索主数据的时间。这样的二级索引设计解决了1中查询条件变化后存储空间浪费的问题，但是产生了新的问题，HBase中RowKey匹配原理是根据Rowkey的ASCII码从前往后匹配，这样，如果有多个查询条件，为了能够适应各种组合查询，二级索引的个数非常多，当条件达到了7到8个，索引的个数已经太多了，多到索引的存储空间占用量可能会超过主数据了。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种针对海量数据进行快速检索方法；本发明方法能够根据多条件快速检索海量数据，并在非常短的时间范围内返回查询结果，以最小的代价解决目前已有技术方案的缺陷。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种针对海量数据进行快速检索方法，包括步骤如下：

1)构建海量数据存储系统；

2)对上述海量数据存储系统中的数据建立二级索引；

3)启动数据检索服务，并监听Http请求；

4)对接收到Client发送的Http请求进行解析生成索引检索条件，向ElasticSearch索引服务发起索引检索请求并获得响应结果(ROWKEY集)；