[发明专利]一种针对Hadoop集群异常节点实时监测方法

权利要求书

1.一种针对Hadoop集群异常节点实时监测方法，其特征在于：首先收集hadoop实时输出的日志，继而分析和归类该日志并统计其数据信息，根据其信息进行转换并求得z分数，判断该分数是否大于阈值来确定节点的异常状态。

2.根据权利要求1所述的针对Hadoop集群异常节点实时监测方法，其特征在于所述方法的具体步骤如下：

Step1、实时收集hadoop任务输出的状态日志，提取相关信息，包括：正在工作的节点编号，每个节点正在运行的map任务、reduce任务数；并统计出每个节点已经运行了多少个maptask数和reduce task数，每个任务的运行时间和未完成任务已经运行多少时间；

Step2、计算每个节点的逻辑完成数：

定义逻辑转换值为节点当前状态下，reduce任务运行时间可转换成多少个map任务的值，具体为计算单个节点reduce任务总运行时长，包括已经运行完成和正在运行的任务；用该时长除以该节点最近完成的一个map任务时间得出的值即为逻辑转换值，逻辑完成数为该节点目前已经执行完成的map task数量+逻辑转换值；

Step3、计算阈值：

采用t分布来确定阈值，当给定置信度与自由度时，相应的阈值就能确定；置信度可根据实际情况设置，该值越小，精度越高，但漏报几率也增高；自由度值为运行任务正在工作的节点数减一；

Step4、计算每个节点的z分数：

采用t分布下的标准分数来衡量节点性能的偏移，该值越大说明偏移越多，当其大于阈值时，将其判定为离群点，其中，t分布下的z分数计算公式为：

式中，x为该节点的逻辑完成数，μ代表所有节点逻辑完成数的均值，σ代表其相应的标准差，Freedom为自由度；

Step5、判断z分数是否小于均值，如果是，则该节点目前是正常的；如果如果否，则该节点是异常节点。

3.根据权利要求2所述的针对Hadoop集群异常节点实时监测方法，其特征在于：所述置信度的推荐值为0.01。