[发明专利]一种基于Hadoop集群的管理监控系统及方法

权利要求书

1.一种基于Hadoop集群的管理监控系统，其特征在于，包括：Hadoop集群和管理服务器模块，其中，所述Hadoop集群包括多个节点服务器，每个节点服务器上均部署有一个监控模块、一个代理模块和多种服务组件，所述管理服务器模块包括日志管理模块；

所述管理服务器模块用于管理所述多个节点服务器部署的多个监控模块和多个代理模块；

每个监控模块包括：

监控组件，用于监控自身所属的节点服务器的运行状态和各项系统指标，得到第一监控数据；

多个通道组件，分别用于收集自身所属的节点服务器部署的多种服务组件对应的多个监控指标，得到第二监控数据；

时间线服务组件，用于解析所述第一监控数据和所述第二监控数据，得到解析数据，将所述解析数据存储在HBase数据库中并发送给所述管理服务器模块；

每个代理模块用于接收并执行所述管理服务器模块根据所述解析数据下发的各项指令并向所述管理服务器模块上报心跳信息；

所述日志管理模块用于管理所述Hadoop集群中的所有服务组件的日志信息；

所述管理服务器模块还包括两个管理服务器，其中一个管理服务器宕机时自动切换至另一个管理服务器，指向所述其中一个管理服务器的所有监控模块和代理模块均自动指向所述另一个管理服务器。

2.根据权利要求1所述的一种基于Hadoop集群的管理监控系统，其特征在于，还包括：用户管理模块和视图管理模块，

所述用户管理模块用于管理所述Hadoop集群的版本、用户对所述Hadoop集群的访问权限和所述Hadoop集群的视图；

所述视图管理模块用于提供并管理客户端与所述Hadoop集群的服务组件之间的交互界面。

3.根据权利要求1所述的一种基于Hadoop集群的管理监控系统，其特征在于，还包括：操作管理模块，用于在确认当前用户的管理员身份之后显示操作界面，管理所述Hadoop集群中的所有服务组件的CURD操作和常规操作，以及所述Hadoop集群中的单个服务组件的自定义操作，还用于管理所述Hadoop集群中的所述多个节点服务器和产生的告警信息。

4.根据权利要求1-3任一项所述的一种基于Hadoop集群的管理监控系统，其特征在于，所述Hadoop集群中的服务组件的服务种类包括：Hadoop服务、zookeeper服务、HBase服务、storm服务、Kafka服务、Flume服务、Hive服务、Spark服务、Oozie服务、Tez服务、Sqoop服务和Slider服务。

5.根据权利要求1-3任一项所述的一种基于Hadoop集群的管理监控系统，其特征在于，所述各项系统指标包括：节点服务器的中央处理器、硬盘、存储器和所述节点服务器所在网络的运行状态。

6.一种基于Hadoop集群的管理监控方法，其特征在于，适用于管理监控系统，所述管理监控系统包括：Hadoop集群和管理服务器模块，其中，所述Hadoop集群包括多个节点服务器，每个节点服务器上均部署有一个监控模块、一个代理模块和多种服务组件，所述管理服务器模块包括日志管理模块，每个监控模块包括：监控组件、多个通道组件和时间线服务组件，所述管理监控方法包括：

S1、监控组件监控自身所属的节点服务器的运行状态和各项系统指标，得到第一监控数据；

S2、多个通道组件分别收集自身所属的节点服务器部署的多种服务组件对应的多个监控指标，得到第二监控数据；

S3、时间线服务组件解析所述第一监控数据和所述第二监控数据，得到解析数据，将所述解析数据存储在HBase数据库中并发送给所述管理服务器模块；

S4、每个代理模块接收并执行所述管理服务器模块根据所述解析数据下发的各项指令并向所述管理服务器模块上报心跳信息；

S5、所述日志管理模块管理所述Hadoop集群中的所有服务组件的日志信息；

所述管理服务器模块还包括两个管理服务器，其中一个管理服务器宕机时自动切换至另一个管理服务器，指向所述其中一个管理服务器的所有监控模块和代理模块均自动指向所述另一个管理服务器。