[发明专利]一种基于redis的高效Hbase分页查询方法

说明书

本发明涉及Hbase分页查询技术领域，具体涉及一种基于redis的高效Hbase分页查询方法，包括如下步骤：对Hbase表的数据生成Rowkey；设置扫描数据的最大条数、根据所查询的页码和每页的数据行数以及其他查询条件，生成查询范围startRow、endRow，以及pagefilter；根据查询条件生成redis中用于存储Rowkey信息的key、根据查询条件从Hbase中scan,并将扫描出来的当前页、前两页和后两页第一条数据的rowKey信息保存到redis中；取数据的时候直接从redis中查找。本发明的有益效果：通过redis缓存技术将Hbase表数据的分页信息缓存起来，web端进行分页查询的时候根据条件生成对应的key先到redis中获取，如果redis中没有再进行查询并对分页相关信息进行保存，极大提高了查询时的响应速度。

技术领域

本发明涉及Hbase分页查询技术领域，具体涉及一种基于redis的高效Hbase分页查询方法。

背景技术

随着信息技术的不断发展，近些年来，海量的数据成为最具价值的财富。在信息传播极其迅速的今天各种数据渗透着我们的生活，它们以指数级的速度增长，数据爆炸将我们带入大数据时代。大数据开始蔓延到社会的各行各业从而影响着我们的学习、工作、生活以及社会的发展，因此大数据的相关研究受到中央和地方政府、各大科研机构和各类企业的高度关注。

在大部分web信息系统中，都存储着大量甚至是海量的数据，分页查询是其中必不可少的一项技术。传统的关系型数据库有着强大的SQL语言，具有一套完整成熟的分页查询方法。

HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

中国专利“CN103617232一种针对Hbase表的分页查询方法”所述的技术方案在实现Hbase分页时，将所有的Hbase表数据进行顺序编号，该编号是查询时的唯一条件，现实环境中很多情况下会有各种复杂的查询需求，简单的顺序编号无法满足；如果数据有删除动作的话，之前的顺序编号和数据的总数也需要进行调整，代价巨大。

发明内容

本发明的目的在于克服现有技术中存在的问题，提供一种基于redis的高效Hbase分页查询方法，它可以实现提高查询的响应速度、成本低。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现的：

一种基于redis的高效Hbase分页查询方法，其包括如下步骤：

Step1，对Hbase表的数据生成Rowkey；

Step2，设置扫描数据的最大条数；

Step3，根据所查询的页码和每页的数据行数以及其他查询条件，生成查询范围startRow、endRow，以及pagefilter；

Step4，根据查询条件生成redis中用于存储Rowkey信息的key；

Step5，根据查询条件从Hbase中scan,并将扫描出来的当前页、前两页和后两页第一条数据的rowKey信息保存到redis中,具体步骤如下：

1)根据查询条件判断当前页Rowkey信息在redis中是否存在；

2)根据查询条件判断当前页的前两页以及后两页Rowkey信息在redis中是否存在；