[发明专利]PaaS系统中hbase数据导出方法及装置

说明书

本发明实施例提供一种PaaS系统中hbase数据导出方法及装置，该方法包括：接收用户发送的数据读取指令，所述数据读取指令中包括关键字范围；根据所述关键字范围，确定待导出的用户数据的起始关键字和结束关键字所在的存储区域；对起始关键字和结束关键字所在的存储区域，根据所述关键字范围对其中存储的用户数据进行关键字匹配判断，将关键字匹配的用户数据拷贝到下载目录下供用户下载；对处于起始关键字和结束关键字所在的存储区域之间的存储区域，将其中的用户数据拷贝到下载目录下供用户下载。能够实现快速、高效的数据导出，数据导出的处理速度快，处理时间短。

技术领域

本发明涉及数据处理技术领域，尤指一种PaaS系统中hbase数据导出方法及装置。

背景技术

随着网络的不断发展，为用户提供服务的方法已经由软件即服务(Software as aService，SaaS)的方式转变为平台即服务(Platform as a Service，PaaS)的方式。PaaS系统中可以使用Hadoop数据库(Hadoop Database，HBase)系统，Hbase系统是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价个人计算机服务器(PCServer)上搭建起大规模结构化存储集群。

在PAAS系统中，用户是共享一个存储服务的，也就是所有用户的数据都存在一个独立的hbase中。PAAS系统中的用户希望系统提供一种文件下载的功能，能够将自己保存的所有数据(一般是二进制文件)以某种方式对外导出，然后自己可以将这些数据下载下来。

现有PAAS系统中，用户要将自己需要的数据读取出来，通常是一条一条的读取。用户需要先向服务端发送一个读取数据的指令，然后服务端解析请求格式，再从hadoop中(一般hbase底层都是依赖hadoop的)读取出来对应的数据返回给用户。由于在hbase中存储的数据量一般都很大，很多都是超过100G，如果是一条一条的读取出来，然后下载到本地，则需要多次循环执行上述读取操作，直到这100G的数据都遍历完。

因此，现有技术中用户将数据读取出来并进行保存的操作通常都是非常慢的，用户导出数据的处理过程很长，效率低下，因此，如何在用户点击下载按钮今后，快速的将用户需要的数据导出是一个亟待解决的技术问题。

发明内容

本发明实施例提供一种PaaS系统中hbase数据导出方法及装置，用以解决现有技术中存在用户数据导出时，处理时间长，速度慢、效率低下的问题，能够实现快速、高效的用户数据导出。

一方面，本发明实施例提供了一种hbase数据导出方法，包括：

接收用户发送的数据读取指令，所述数据读取指令中包括关键字范围；

根据所述关键字范围，确定待导出的用户数据的起始关键字和结束关键字所在的存储区域；

对起始关键字和结束关键字所在的存储区域，根据所述关键字范围对其中存储的用户数据进行关键字匹配判断，将关键字匹配的用户数据拷贝到下载目录下供用户下载；

对处于起始关键字和结束关键字所在的存储区域之间的存储区域，将其中的用户数据拷贝到下载目录下供用户下载。

在一些可选的实施例中，所述关键字范围通过起始关键字和结束关键字表征；或

所述关键字范围通过起始关键字和关键字的数量表征。

在一些可选的实施例中，根据所述关键字范围，确定待导出的用户数据的起始关键字和结束关键字所在的存储区域，具体包括：

根据所述关键字范围，确定待导出的用户数据的起始关键字和结束关键字；

依次查询根root表、业务字典meta表，确定所述起始关键字和结束关键字所在的meta表；