[发明专利]HBase中数据的处理方法和处理装置

说明书

本发明提出了一种HBase中数据的处理方法和处理装置，其中，该HBase中数据的处理方法包括：获取HBase中定义的列簇；解析列簇与JDO类之间的映射关系；根据映射关系调用HBase提供的应用程序编程接口；通过应用程序编程接口创建HBase的数据表；生成将数据表映射到Hive数据仓库的表格的脚本，以使Hive数据仓库的SQL引擎通过脚本来查询HBase中的数据。通过本发明的技术方案，可以提升API操作HBase中数据的易用性，降低出错率和提高开发人员的编码效率。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种HBase中数据的处理方法和一种HBase中数据的处理装置。

背景技术

HBase是一个高可靠性、高性能、可伸缩、分布式、面向列的开源数据库。数据是以列簇(Column Family)为单位存储在Hadoop的HDFS中。官方提供的Java API(ApplicationProgramming Interface，应用程序编程接口)操作HBase中数据一般主要包括以下方面：

(1)指定每个Qualifier(列名)的Column Family，多数表格中存在多个ColumnFamily。

(2)每个Qualifier的值都写入时转换成二进制。

(3)每个Qualifier的值取出为二进制需要转换为需要的类型(String、Integer等)。

(4)Row Key(行键)设计后需要较为严格的遵守组成规则。

但是，官方提供的API操作HBase中数据的易用性较差，出错概率大，开发人员编码效率较低。

因此，如何提升API操作HBase中数据的易用性，减少出错率，提高开发人员的编码效率成为亟待解决的技术问题。

发明内容

本发明正是基于上述问题，提出了一种新的技术方案，可以解决API操作HBase中数据的易用性较差、出错率大和开发人员的编码效率低的技术问题。

有鉴于此，本发明的第一方面提出了一种HBase中数据的处理方法，包括：获取HBase中定义的列簇；解析所述列簇与JDO(Java Data Object，Java数据对象)类之间的映射关系；根据所述映射关系调用所述HBase提供的应用程序编程接口；通过所述应用程序编程接口创建所述HBase的数据表；生成将所述数据表映射到Hive数据仓库的表格的脚本，以使所述Hive数据仓库的SQL(Structured Query Language，结构化查询语言)引擎通过所述脚本来查询所述HBase中的数据。

在该技术方案中，根据列簇与JDO类之间的映射关系来调用HBase提供的应用程序编程接口，可以提高应用程序编程接口的易用性，提高开发人员的编码效率和降低出错率。另外，通过生成将数据表映射到Hive数据仓库的表格的脚本，即可使用Hive数据仓库的SQL引擎查询HBase中的数据，避免了一些Map-Reduce任务的编写工作，从而提高项目的开发效率。

在上述技术方案中，优选地，还包括：通过所述应用程序编程接口读取所述HBase中的数据，根据所述映射关系将读取到的所述HBase中的数据转化成所述JDO类的实例；或者根据所述映射关系将所述JDO类的实例持久化到所述HBase中。

在该技术方案中，根据映射关系可以实现JDO对象(JDO类的实例即为JDO对象)与HBase中数据的相互读取和转化，进一步地提高了应用程序编程接口操作HBase中数据的易用性。

在上述任一技术方案中，优选地，还包括：在所述SQL引擎查询所述HBase中的数据之后，将SQL引擎查询到的数据进行汇总分析；将汇总分析后的数据发送给终端，以供所述终端对所述汇总分析后的数据再次进行汇总分析。