[发明专利]一种实现Hadoop集群监控的方法及系统

说明书

本发明涉及一种实现Hadoop集群监控的方法，该方法包括：设置监控规则；获取Hadoop集群的运行数据；根据所述监控规则和所述运行数据，确定是否报警；并且设定自动化运维命令的触发条件，在确定是否报警之后，生成监控信息，根据所述监控信息和所述触发条件，选择自动化运维命令并加以运行。该方法能够通过对监控规则扩展，使得可以同时对Hadoop集群的硬件、软件、数据的存储等多方面进行监控，进而解决传统监控系统无法对Hadoop分布式系统进行监控的问题。本发明还涉及一种实现Hadoop集群监控的系统。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种实现Hadoop集群监控的方法及系统。

背景技术

当大数据时代悄然来临，面对海量数据的计算、搬运、存储、分发等工作。传统的服务器模式已经无法应对，分布式系统集群的时代已经到来。Hadoop作为分布式系统的首选，目前已经普遍在业内遍地开花。但目前还没有一套面向大数据业务模式，以实现对Hadoop系统数据集采集、存储、计算、应用，并最终实现集群管理的自动化运维的Hadoop监控系统。

传统的监控系统只能针对计算机进行单一目标系统的监控，根据监控目标系统的差异大致可以分为：监控计算机硬件的运维监控系统，例如：监控硬盘、内存、CPU等运行情况；监控计算机软件运行情况的软件监控系统，例如：监控调度任务的执行情况；监控数据质量情况的数据类监控系统，例如：监控数据质量、波动等。但当大数据时代的来临，企业需要一套能够对Hadoop集群的软件、硬件、数据、运行情况等多方面一体化的监控系统，显然对此传统的监控系统无法胜任。

发明内容

有鉴于此，本发明提供一种实现Hadoop集群监控的方法及系统，能够通过对监控规则扩展，使得可以同时对Hadoop集群的硬件、软件、数据的存储等多方面进行监控，进而解决传统监控系统无法对Hadoop分布式系统进行监控的问题。

为实现上述目的，根据本发明的一个方面，提供了一种实现Hadoop集群监控的方法。

本发明的方法包括：

设置监控规则；获取Hadoop集群的运行数据；根据所述监控规则和所述运行数据，确定是否报警；并且设定自动化运维命令的触发条件，在确定是否报警之后，生成监控信息，根据所述监控信息和所述触发条件，选择自动化运维命令并加以运行。

可选地，所述监控规则包括硬件监控规则、软件监控规则或数据监控规则，所述运行数据包括硬件运行数据、软件运行数据或数据运行数据。

可选地，所述方法还包括：在设置监控规则之后，对所述Hadoop集群进行压力测试，其中所述压力测试包括：输入一个以上的压力测试数据；获取Hadoop集群的压力测试运行数据；根据所述监控规则，以及所述压力测试运行数据，获取所述Hadoop集群的承压数据；根据所述承压数据生成所述Hadoop集群的性能瓶颈值。

可选地，根据所述性能瓶颈值设定自动化运维命令，所述自动化运维命令包括但不局限于：重启当前服务器、停止向所述服务器发送任务、激活备份集群、重跑当前任务、杀死所述Hadoop集群当前运行的线程以释放集群内存或将操作信息发送给系统管理员。

可选地，所述硬件监控规则为：设置硬件阈值条件和次数条件，使得如果所述硬件运行数据连续达到所述硬件阈值条件的次数不小于所述次数条件，则确定报警。

所述软件监控规则为：设置生效时间和时间间隔，使得如果在所述生效时间内，连续收到所述软件运行数据之间时间的间隔达到所述时间间隔，则确定报警。所述软件监控规则还包括：设置最后时间期限，使得如果在所述最后时间期限之前，未获取到所述软件运行数据，则确定报警。

所述数据监控规则为：设置对比值类型、对比值范围和对比关系，确定所述数据运行数据的对比值范围和对比值类型，若所述数据运行数据满足所述对比关系，则确定报警。