[发明专利]数据表访问量的监控方法和装置

说明书

本申请提供了一种数据表访问量的监控方法和装置，该方法包括：访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息；访问每个分块服务器，从分块服务器的监控记录中过滤出每个分块服务器存储的分块信息和针对每个分块的访问量；根据每个分块的访问量和表名称获取每张表的访问量。达到了以分钟级别对数据表的访问量进行监控的效果，有助于及时发现高访问量的数据表。

技术领域

本申请涉及互联网数据存储技术，具体涉及一种数据表访问量的监控方法和装置。

背景技术

Hadoop数据库(Hadoop Database，HBase)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的个人电脑服务器(PC Server)上搭建起大规模结构化存储集群。

当HBase中的表(Table)随着记录数不断增加而变大后，会逐渐分裂成多个分块(region)，一个分块由[startkey，endkey]表示，不同的分块会被主节点(Master)分配给相应的分块服务器(RegionServer)进行管理。

HBase0.96版本之后，“.META.”表记录了所有表的分块信息，而“.META.”本身也可以有多个分块；在HBase的Zookeeper集群中记录了“.META.”各分块的存储位置。客户端(Client)访问用户数据之前需要首先访问zookeeper集群，然后访问.META.表，最后才能找到该用户数据相应的分块所在的分块服务器去访问，中间需要多次网络操作，客户端会相应的进行缓存。

目前，通常是从集群级别来监控针对某个集群的访问量，或者从节点级别来监控针对某个节点的访问量，例如监控分块服务器或者数据服务器(Dataserver)的读、写访问量，而不能从表级别进行监控，无法监控具有多个分块的数据表的读、写访问量。

发明内容

有鉴于此，本申请实施例提供了一种数据表访问量的监控方法和装置，以解决Hbase无法从表级别对数据访问量进行监控的技术问题。

根据本申请实施例的一个方面，提供了一种数据表访问量的监控方法，所述方法包括：访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息；访问每个分块服务器，从分块服务器的监控记录中过滤出分块信息和针对每个分块的访问量；根据每个分块的访问量和表名称获取每张表的访问量。

在一个实施例中，所述数据表访问量的监控方法还包括：以分钟级别展示数据表的读访问量和写访问量。

在一个实施例中，所述数据表访问量的监控方法还包括：将过滤出的分块信息和针对每个分块的访问量存储至MySQL数据库，由所述MySQL数据库按照分钟级别对每张表的访问量进行聚合。

优选的，所述数据表访问量的监控方法进一步包括：针对表、节点和集群任意一种级别的访问量查询请求，由所述MySQL数据库根据所述查询请求的级别对访问量进行聚合从而形成查询结果；从所述MySQL数据库获取所述查询结果并进行展示。

在一个实施例中，根据每个分块的访问量和表名称获取每张表的访问量进一步包括：利用爬虫工具从Hbase服务页面抓取表名称；根据每个分块的访问量和表名称获取每张表的访问量。

在一个实施例中，访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息包括：根据配置文件中的节点信息选取Hbase的主节点；访问所述主节点，根据配置文件中的集群名称从所述主节点的监控记录中获取对应集群的拓扑结构，所述拓扑结构包括所述集群的所有分块服务器信息。

优选的，所述配置文件中设置的监控项包括分块信息、读访问量和写访问量；