[发明专利]针对大规模计算机集群异常程度的评估与分析系统

说明书

本发明提供一种针对大规模计算机集群异常程度的评估与分析系统，采用主从模式的插件式分层架构，包括主插件和从插件；所述从插件主要负责异常程度评估与异常原因分析任务，部署在计算机集群中需要检测的节点上；计算机集群中的节点包括服务器节点、终端节点；终端节点位于最上层；所述主插件用于汇总检测结果与展示；能够部署在计算机集群中任何节点上。终端节点上的主插件用于汇总检测结果与展示；服务器节点上的主插件用于汇总从插件所在节点的检测结果并向上层的主插件所在节点发送。本发明能够为计算机集群中的各节点实时定量评估异常程度，当异常程度超过阈值时自动报警，还可以自动分析导致异常产生的性能指标。

技术领域

本发明涉及大规模计算机集群，尤其是一种针对大规模计算机集群异常程度的评估与分析系统。

背景技术

随着大数据、云计算技术的飞速发展，越来越多的企业和个人选择云平台提供的服务，因此对于大规模计算机集群性能可靠性的要求也越来越高。一旦集群的性能出现了问题，将产生极大的损失。这就要求运维人员能够时刻掌握集群的性能运行状态。

计算机集群的运行状态可以通过集群中服务器节点的性能指标来刻画，这些性能指标可大致分为cpu(处理器)、mem(内存)、diskio(磁盘输入输出)、net(网络)四种类型。在集群出现宕机等故障之前，其性能指标会出现异常变化，可以通过实时分析群中每个节点的性能指标评估其异常程度，从而可以及时发现集群出现的性能异常。同时还可以通过对异常发生时刻的性能指标的分析，定位引发异常的性能指标所属类型，辅助运维人员寻找性能异常的原因，提前避免由宕机等可能发生的故障造成的损失。

现有的针对大规模集群的异常分析检测方案，将集群中的服务器节点作为基本分析单位。首先将集群中的节点按照运行状态的相似性划分为不同的检测组，在每个检测组中，认为某一时刻大多数节点的运行状态是正常的，个别性能状态特殊的节点被认为是异常节点。如图1所示，这种方案主要分为四步：

首先是动态分组，即按照运行状态的相似性分为不同的检测组。例如运行相似任务的节点被认为具有相似的性能状态，会被分到一组。

然后是数据转换，即收集代表每个节点运行状态的性能数据，并预处理数据为统一格式方便后续分析。

接着是特征提取，即通过主成分分析等降维手段提取最能表现节点运行状态的性能指标维度，降低时间复杂度。

最后是离群点检测，即利用特征提取后的集群中各个节点的性能数据，通过欧式距离等的偏离程度描述手段，计算各个节点的运行状态的差异，选取跟大多数节点最不一致的那部分节点判定为异常节点。按照此步骤不断循环迭代，定期检测集群的运行状态。

现有的集群异常检测方法，在进行检测前需要冗长的预处理流程，无法满足让运维人员时刻掌握集群运行状况的实时性要求。并且检测结果只有异常与否两种状态，不能定量衡量异常程度的大小，对运维人员的提示功能有限。最重要的是不具备异常定位功能，不能分析出异常原因；对运维人员的指导性有限。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种针对大规模计算机集群异常程度的评估与分析系统，能够为计算机集群中的各节点实时定量评估异常程度，当异常程度超过阈值时自动报警，还可以自动分析导致异常产生的性能指标，协助运维人员进一步分析造成异常的原因。本发明采用的技术方案是：

一种针对大规模计算机集群异常程度的评估与分析系统，采用主从模式的插件式分层架构，包括主插件和从插件；

所述从插件主要负责异常程度评估与异常原因分析任务，部署在计算机集群中需要检测的节点上；计算机集群中的节点包括服务器节点、终端节点；终端节点位于最上层；

所述主插件用于汇总检测结果与展示；能够部署在计算机集群中任何节点上。