[发明专利]数据存储和读取方法、装置及系统

说明书

技术领域

本发明涉及数据库技术领域，特别是涉及一种数据存储和读取方法、装置 及系统。

背景技术

Hadoop是目前业界使用最多，最成熟的开源大数据存储和计算平台，它 包含了很多组件，其中MapReduce(即MR)是hadoop平台上的编程模型。 适用于大数据量下的分布式计算。Redis是一种开源的索引/值(key/value)内 存数据库，支持多种数据格式的存储。

HadoopMR提供了很多数据源的读取实现，如文件，hbase数据库等，但 对直接从redis读取大批量数据并没有很好的支持，具体地，HadoopMR是大 数据分布式计算的利器，输入一般是hdfs文件。redis是key/value的内存数据 库，一般是根据单个key来读取单个value。因此目前缺少直接大批量从redis 读取数据到hadoopMR的方式。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地 解决上述问题的数据存储和读取方法、装置及系统。

本发明提供一种数据存储方法，包括：

将数据库中的关键词key按照粒度大小分为两级，其中，粒度较大的第一 级key对应的数据值value为粒度较小的第二级key；

将需要存储的数据作为第二级key的value保存。

本发明还提供了一种数据读取方法，用于Hadoop编程模型MR从数据库 读取数据，包括：

获取数据库中第一级关键词key对应的数据值value，获取第二级key；

根据获取的参数N将第二级key分为N份，其中，每份第二级key对应 一个计算单元的输入，N大于等于1且小于等于第二级key的个数；

通过计算单元并发读取相应的第二级key所对应的value。

本发明还提供了一种数据存储装置，包括：

分级模块，用于将数据库中的关键词key按照粒度大小分为两级，其中， 粒度较大的第一级key对应的数据值value为粒度较小的第二级key；

存储模块，用于将需要存储的数据作为第二级key的value保存。

本发明还提供了一种数据读取装置，设置于Hadoop编程模型MR，包括：

获取模块，用于获取数据库中第一级关键词key对应的数据值value，获 取第二级key；

切分模块，用于根据获取的参数N将第二级key分为N份，其中，每份 第二级key对应一个计算单元的输入，N大于等于1且小于等于第二级key的 个数；

读取模块，用于通过计算单元并发读取相应的第二级key所对应的value。

本发明还提供了一种数据存储读取系统，包括上述的数据存储装置、以及 上述的数据读取装置。

本发明有益效果如下：

通过将数据库设置为二级模式，扩展了hadoopMR的数据访问范围，将设 置为二级模式的数据库也纳入了大数据处理范围中，使得hadoopMR能够直接 大批量从数据库读取数据，提升了hadoopMR的运行效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术 手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、 特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领 域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并 不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的 部件。在附图中：

图1是本发明实施例的数据存储方法的流程图；

图2是本发明实施例的Redis数据库的示意图；

图3是本发明实施例的数据读取方法的流程图；

图4是本发明实施例的hadoopMR从redis数据库读取数据的示意图；

图5是本发明实施例的数据存储装置的结构示意图；

图6是本发明实施例的数据读取装置的结构示意图；

图7是本发明实施例的数据存储读取系统的结构示意图。

具体实施方式