[发明专利]一种数据存储方法及装置

说明书

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据存储方法及装置。

背景技术

Hadoop是一个分布式系统基础架构，主要由分布式文件系统（HDFS，Hadoop Distributed File System）、MapReduce和Hbase组成。其中，HBase是一个分布式的、面向列的开源数据库。它以表的形式存储数据，表是由行和列组成，列划分为若干个列簇，一行由行键Rowkey，时间戳和若干列组成。行键Rowkey类似于关系数据库的主键，用于检索记录。

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的结构化查询语言(sql，Structured Query Language)查询功能。其优点是学习成本低，可以通过类sql语句快速实现简单的统计，十分适合数据仓库的统计分析。

在现有技术中，HBase中的Rowkey设计简单，在检索数据记录时，通过hive语句对HBase表中的数据进行查询。例如，hive中的时间过滤是通过属性字段，select*from tv_report where ts=’2013-07-23’。

但是，通过hive语句查询HBase中的数据，需要对HBase表中的数据全部进行扫描，检索效率低，耗费时间长。

发明内容

本发明的实施例提供一种数据存储方法及装置，能够根据预设条件设置保存HBase数据库中的行键Rowkey，提高数据查询速度，提高检索效率，减少了时间的耗费。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明实施例提供一种数据存储方法，包括：

获取待存储的数据记录；

确定所述数据记录中满足预设条件的属性字段；

将所述满足预设条件的属性字段作为HBase数据库的行键Rowkey的前缀Head；

将所述Rowkey存储至所述HBase数据库中，以使得在所述HBase中查询所述满足预设条件的属性字段时，通过查询所述Rowkey的前缀获得满足预设条件的属性字段。

所述将所述满足预设条件的属性字段作为所述HBase数据库的行键Rowkey的前缀Head，包括：

根据信息摘要算法MD5计算出所述满足预设条件的属性字段的摘要值，所述摘要值为十六进制的字符串；

将所述摘要值作为所述HBase数据库的行键Rowkey的前缀Head。

所述确定所述数据记录中满足预设条件的属性字段之后，所述方法还包括：

确定所述数据记录中不满足所述预设条件的属性字段；

将所述不满足所述预设条件的属性字段作为所述HBase数据库的列；

将所述列存储至HBase数据库中。

所述Rowkey还包括后缀，所述后缀长度固定为9个字节，是由一个“=”和8字节表示的long整数组成。

所述将所述Rowkey存储至HBase数据库中，以使得在所述HBase中查询所述满足预设条件的属性字段时，通过查询所述Rowkey的前缀获得满足预设条件的属性字段，具体包括：

将所述Rowkey存储至HBase数据库中；

根据所述Hbase中最新的模糊过滤FuzzyRowFilter正则表达式的查询机制，查询满足预设条件的属性字段。

本发明实施例提供的一种存储装置，包括：

获取单元，用于获取待存储的数据记录；

处理单元，用于确定所述数据记录中满足预设条件的属性字段；将所述满足预设条件的属性字段作为HBase数据库的行键Rowkey的前缀Head；

存储单元，用于将所述Rowkey存储至所述HBase数据库中，以使得在所述HBase中查询所述满足预设条件的属性字段时，通过查询所述Rowkey的前缀获得满足预设条件的属性字段。

所处理单元将所述满足预设条件的属性字段作为所述HBase数据库的行键Rowkey的前缀Head，包括：

根据信息摘要算法MD5计算出所述满足预设条件的属性字段的摘要值，所述摘要值为十六进制的字符串；

将所述摘要值作为所述HBase数据库的行键Rowkey的前缀Head。

所述处理单元确定所述数据记录中满足预设条件的属性字段之后，还包括：

确定所述数据记录中不满足所述预设条件的属性字段；

将所述不满足所述预设条件的属性字段作为所述HBase数据库的列；