[发明专利]一种基于数据中心数据采集平台的多指标异动分析方法

说明书

本发明公开了一种基于数据中心数据采集平台的多指标异动分析方法，包括：一、模型预测：包括模型训练、模型使用和实时处理；二、单指标模型训练；三、多指标分析；四、多指标异动分析；五、多指标预警。本发明通过对多指标进行异动分析和异常根因分析，可以快速定位问题主因指标，从而大大节省问题定位时间，并有效提升IT运维管理人员的问题解决能力。

技术领域

本发明涉及一种分析方法，具体是一种基于数据中心数据采集平台的多指标异动分析方法。

背景技术

目前数据中心的指标数据主要是基于大数据平台进行采集，根据运维人员的历史经验对于不同的指标设定不同的阈值，对指标进行监控预警，数据利用率较低，对数据的监控分析较弱，不能基于历史的指标数据进行智能分析与预测和自动故障定位，告警时往往系统性能已经严重恶化，或者已经影响对外服务，不能快速定位问题主机，在故障出现之前预先发现故障趋势，及时有效的避免故障的发生。

目前传统的监控告警方法主要具有以下缺点：反应不迅速，监控阈值固定，无变化；时效性差，告警时往往系统性能已经严重恶化，或者已经影响到对外服务；辨识率差，系统发生告警时，往往会产生消息风暴，而传统的ITOM工具很难实现告警事件关联；没有价值，传统的数据中心运维仅仅着眼于ITOM收集的主机性能数据，对于主机性能数据与业务系统性能之间的数据关联，传统ITOM无法实现数据价值挖掘；缺乏技术支持，告警产生以后，在运维专家到达现场之前，往往无法正常开始抢修工作，缺少运维专家知识库的指引；无法对问题主机快速定位，传统监控只是单一的监控各个指标变化，无法确定主因指标，定位问题主机。在数据中心的指标监控中，迫切地需要能够补足短时预测及长时趋势分析的短板，掌握运维的主动权，提前于监控系统发现潜在的风险，快速定位问题主机，从而为排除系统故障赢得更多的时间。

发明内容

本发明的目的在于提供一种基于数据中心数据采集平台的多指标异动分析方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于数据中心数据采集平台的多指标异动分析方法，包括：

一、模型预测：包括模型训练、模型使用和实时处理；

模型训练包括以下步骤：1)从hdfs获取历史数据，做数据预处理发送给模型训练模块；2)将训练后的模型持久化到mysql或文本，保存在模型库；

模型使用包括以下步骤：1)将持久化的模型反持久化给指标预测模块，供预测使用；2)从hdfs中获取指标预测时间点前段时间的历史数据，做数据清洗后传给指标预测模块；3)执行指标预测，得到预测值并存储到结果库；

实时处理包括以下步骤：1)使用spark streaming实时获取中间件Kafka中的数据，一边传给kafka，另一边存储在结果库中；2)CEP从kafka获取实时数据，根据实时数据从结果库获取上、下边界值；3)CEP根据设定好的规则得到告警的时间，生成告警记录存储在结果库；4)结果库中数据在展示层中显示；

二、单指标模型训练；

三、多指标分析：1)找出多个KPI指标之间存在的潜在关系，如果隐含关系被打破，即被认定为异常；2)结合多指标异常分析结果，对这多个指标进行根因分析，寻找主因指标，对导致异常的原因进行定位；