[发明专利]一种基于Hadoop集群的管理监控系统及方法

说明书

本发明公开了一种基于Hadoop集群的管理监控系统，包括：Hadoop集群和管理服务器模块，其中，Hadoop集群包括多个节点服务器，每个节点服务器上均部署有一个监控模块、一个代理模块和多种服务组件，管理服务器模块包括日志管理模块。本发明的有益效果是：本技术方案能够对大数据平台进行监控，监控的内容包括每个节点和每种服务组件的状态，方便运维人员对大数据平台进行维护；提供一个统一日志管理工具，使运维人员能够更方便的管理日志，排查错误。

技术领域

本发明涉及大数据平台领域，特别涉及一种基于Hadoop集群的管理监控系统及方法。

背景技术

以往对大数据平台的的监控通常需要单独选用某种监控工具，并且需要自行设计监控图表，在传统的大数据平台维护中，查看日志是一个定位问题的最直接的方法，但传统的大数据平台没有一个统一管理日志的工具，因此在排查错误的时候将会变得很繁琐。

发明内容

本发明提供了一种基于Hadoop集群的管理监控系统及方法，解决了现有技术的技术问题。

本发明解决上述技术问题的技术方案如下：

一种基于Hadoop集群的管理监控系统，包括：Hadoop集群和管理服务器模块，其中，所述Hadoop集群包括多个节点服务器，每个节点服务器上均部署有一个监控模块、一个代理模块和多种服务组件，所述管理服务器模块包括日志管理模块；

所述管理服务器模块用于管理所述多个节点服务器部署的多个监控模块和多个代理模块；

每个监控模块包括：

监控组件，用于监控自身所属的节点服务器的运行状态和各项系统指标，得到第一监控数据；

多个通道组件，分别用于收集自身所属的节点服务器部署的多种服务组件对应的多个监控指标，得到第二监控数据；

时间线服务组件，用于解析所述第一监控数据和所述第二监控数据，得到解析数据，将所述解析数据存储在HBase数据库中并发送给所述管理服务器模块；

每个代理模块用于接收并执行所述管理服务器模块根据所述解析数据下发的各项指令并向所述管理服务器模块上报心跳信息；

所述日志管理模块用于管理所述Hadoop集群中的所有服务组件的日志信息。

本发明的有益效果是：代理模块负责执行管理服务器模块发送的指令，并上报心跳信息，心跳信号是指每隔一段时间向互联的另一方发送一个很小的数据包，通过对方的回复情况可以判断互联的双方之间的通讯链路是否已经断开，因此，通过上报心跳信息可以实时监控节点服务器与管理服务器之间的通讯链路的开断。

监控模块负责监控节点服务器和其上部署的服务组件，通过监控组件和通道组件对节点服务器进行监控，获取节点服务器的监控数据，通过时间线服务组件对其进行解析后上传给管理服务器。

本技术方案能够对大数据平台进行监控，监控的内容包括每个节点和每种服务组件的状态，方便运维人员对大数据平台进行维护；提供一个统一日志管理工具，使运维人员能够更方便的管理日志，排查错误。

在上述技术方案的基础上，本发明还可以做如下改进。

优选地，所述管理服务器模块还包括两个管理服务器，其中一个管理服务器宕机时自动切换至另一个管理服务器，指向所述其中一个管理服务器的所有监控模块和代理模块均自动指向所述另一个管理服务器。

优选地，还包括：用户管理模块和视图管理模块，

所述用户管理模块用于管理所述Hadoop集群的版本、用户对所述Hadoop集群的访问权限和所述Hadoop集群的视图；

所述视图管理模块用于提供并管理客户端与所述Hadoop集群的服务组件之间的交互界面。