[发明专利]一种实现Hadoop集群监控的方法及系统

权利要求书

1.一种实现Hadoop集群监控的方法，其特征在于，包括：

设置监控规则；

获取Hadoop集群的运行数据；

根据所述监控规则和所述运行数据，确定是否报警；并且

设定自动化运维命令的触发条件，在确定是否报警之后，生成监控信息，根据所述监控信息和所述触发条件，选择自动化运维命令并加以运行。

2.根据权利要求1所述的方法，其特征在于，所述监控规则包括硬件监控规则、软件监控规则或数据监控规则，所述运行数据包括硬件运行数据、软件运行数据或数据运行数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在设置监控规则之后，对所述Hadoop集群进行压力测试，

其中所述压力测试包括以下步骤：

输入一个以上的压力测试数据；

获取Hadoop集群的压力测试运行数据；

根据所述监控规则，以及所述压力测试运行数据，获取所述Hadoop集群的承压数据；

根据所述承压数据生成所述Hadoop集群的性能瓶颈值。

4.根据权利要求3所述的方法，其特征在于，根据所述性能瓶颈值设定自动化运维命令，所述自动化运维命令包括但不局限于：重启当前服务器、停止向所述服务器发送任务、激活备份集群、重跑当前任务、杀死所述Hadoop集群当前运行的线程以释放集群内存或将操作信息发送给系统管理员。

5.根据权利要求2所述的方法，其特征在于，

所述硬件监控规则为：设置硬件阈值条件和次数条件，使得如果所述硬件运行数据连续达到所述硬件阈值条件的次数不小于所述次数条件，则确定报警；

所述软件监控规则为：设置生效时间和时间间隔，使得如果在所述生效时间内，连续收到所述软件运行数据之间时间的间隔达到所述时间间隔，则确定报警；

所述数据监控规则为：设置对比值类型、对比值范围和对比关系，确定所述数据运行数据的对比值范围和对比值类型，若所述数据运行数据满足所述对比关系，则确定报警。

6.一种实现Hadoop集群监控的系统，其特征在于，包括：

设置模块，用于设置监控规则；

获取模块，用于获取Hadoop集群的运行数据；

确定模块，用于根据所述监控规则和所述运行数据，确定是否报警；以及

自动化运维模块，用于设定自动化运维命令的触发条件，在确定模块确定是否报警之后，生成监控信息，根据所述监控信息和所述触发条件，选择自动化运维命令并加以运行。

7.根据权利要求6所述的系统，其特征在于，所述监控规则包括硬件监控规则、软件监控规则或数据监控规则，所述运行数据包括硬件运行数据、软件运行数据或数据运行数据。

8.根据权利要求6所述的系统，其特征在于，还包括压力测试模块，用于在设置监控规则之后，对所述Hadoop集群进行压力测试；

还用于输入一个以上的压力测试数据；

获取Hadoop集群的压力测试运行数据；

根据所述监控规则，以及所述压力测试运行数据，获取所述Hadoop集群的承压数据；并且根据所述承压数据生成所述Hadoop集群的性能瓶颈值。

9.根据权利要求8所述的系统，其特征在于，所述压力测试模块还用于根据所述性能瓶颈值设定自动化运维命令，所述自动化运维命令包括但不局限于：重启当前服务器、停止向所述服务器发送任务、激活备份集群、重跑当前任务、杀死所述Hadoop集群当前运行的线程以释放集群内存或将操作信息发送给系统管理员。