[发明专利]基于HBase表实现聚合计算的方法和装置

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于HBase表实现聚合计算的方法和装置。

背景技术

数据时代已经来临，分布式集群、分布式数据库、分布式文件系统等技术都是人们关注的焦点。分布式集群Hadoop是大数据时代的产品，能够解决大数据时代的海量数据的处理问题。HBase是在Hadoop之上的一个面向列的分布式数据库，它很受到人们的关注。

HBase提供了很好的易用性及键值对的灵活处理，同时能够快速读取表中数据等优势，但HBase中不能很好的处理聚合计算如求和、计数、排序等操作，它只会利用编写MapReduce程序进行执行，例如执行一次表的总行数的计数，是需要执行一次MapReducce程序才可以实现，这需要花费很长时间。现有的HBase不能提供简单的聚合计算，这将导致了网络开销增加、性能差。

发明内容

为了解决上述技术问题，本发明提供了一种基于HBase表实现聚合计算的方法和装置，能够提供方便的聚合计算。

为了达到本发明目的，本发明提供了一种基于HBase表实现聚合计算的方法，包括：使用HBase协处理器的终端编写聚合计算；对HBase中的配置文件进行协处理器的聚合类配置，或者，对HBase中特定表的参数进行协处理器的聚合类配置；HBase协处理器加载客户端实现聚合计算。

进一步地，使用HBase协处理器的终端编写聚合计算，包括：定义一个协议protocol接口，所述协议接口继承协处理器协议CoprocessorProtocol；实现终端接口，所述实现继承基础终端协处理器BaseEndpointCoprocessor；客户端使用应用程序编程接口API调用终端。

进一步地，聚合计算包括求和、平均、最大计算、最小计算、计数和排序。

进一步地，对HBase中的配置文件进行协处理器的聚合类配置，包括：将hbase-site.xml中的hbase.coprocessor.region.classes设置成协处理器的聚合类；对HBase特定表中进行协处理器的聚合类配置，包括：在hbase shell中对HBase中特定表的参数进行协处理器的聚合类配置。

进一步地，协处理器加载客户端实现聚合计算，包括：在客户端实现终端，协处理器加载客户端，通过HBase RPC调用，客户端提供聚合计算。

一种基于HBase表实现聚合计算的装置，包括：编写模块，用于使用HBase协处理器的终端编写聚合计算；配置模块，用于对HBase中的配置文件进行协处理器的聚合类配置，或者，对HBase中特定表的参数进行协处理器的聚合类配置；实现模块，用于协处理器加载客户端实现的聚合计算。

进一步地，编写模块，具体用于定义一个协议protocol接口，所述协议接口继承协处理器协议CoprocessorProtocol；实现终端接口，所述实现继承基础终端协处理器BaseEndpointCoprocessor；客户端使用应用程序编程接口API调用终端。

进一步地，配置模块，具体用于将hbase-site.xml中的hbase.coprocessor.region.classes设置成协处理器的聚合类，或者，在hbase shell中对HBase中特定表的参数进行协处理器的聚合类配置。

进一步地，实现模块，具体用于在客户端实现终端，协处理器加载客户端，通过HBase RPC调用，客户端提供聚合计算。

与现有技术相比，本发明包括：使用HBase协处理器的终端编写聚合计算；对HBase中的配置文件进行协处理器的聚合类配置，或者，对HBase中特定表的参数进行协处理器的聚合类配置；HBase协处理器加载客户端实现聚合计算。本发明通过HBase中协处理器的终端类型接口来实现聚合计算，通过简单的聚合计算得出最终的计算结果，从而减少了网络开销，提高了性能。

附图说明

图1是本发明基于HBase表实现聚合计算的方法的流程示意图。

图2是本发明使用HBase协处理器的终端编写聚合计算的方法的流程示意图。

图3是本发明基于HBase表实现聚合计算的装置的结构示意图。

具体实施方式

下面结合附图对本发明进行进一步的详细说明。通过足够详细的描述这些实施示例，使得本领域技术人员能够实践本发明。在不脱离本发明的主旨和范围的情况下，可以对实施做出逻辑的、实现的和其他的改变。