[发明专利]一种基于数据中心数据采集平台的多指标异动分析方法

权利要求书

1.一种基于数据中心数据采集平台的多指标异动分析方法，其特征在于，包括：

一、模型预测：包括模型训练、模型使用和实时处理；

模型训练包括以下步骤：1)从hdfs获取历史数据，做数据预处理发送给模型训练模块；2)将训练后的模型持久化到mysql或文本，保存在模型库；

模型使用包括以下步骤：1)将持久化的模型反持久化给指标预测模块，供预测使用；2)从hdfs中获取指标预测时间点前段时间的历史数据，做数据清洗后传给指标预测模块；3)执行指标预测，得到预测值并存储到结果库；

实时处理包括以下步骤：1)使用spark streaming实时获取中间件Kafka中的数据，一边传给kafka，另一边存储在结果库中；2)CEP从kafka获取实时数据，根据实时数据从结果库获取上、下边界值；3)CEP根据设定好的规则得到告警的时间，生成告警记录存储在结果库；4)结果库中数据在展示层中显示；

二、单指标模型训练；

三、多指标分析：1)找出多个KPI指标之间存在的潜在关系，如果隐含关系被打破，即被认定为异常；2)结合多指标异常分析结果，对这多个指标进行根因分析，寻找主因指标，对导致异常的原因进行定位；

四、多指标异动分析：1、基于ITOA运维大数据平台在数据中心采集的KPI指标数据，首先对指标数据进行清洗，然后在目标指标集进行指标筛选，在这里采用Granger因果关系检验对指标集中的指标进行过滤筛选，提取因果关系明显的指标进行下一步的异动分析；2、采用张量LSTM模型对多指标在待分析的时间段的面板矩阵数据进行预测；3、提取当前时间段的指标值与LSTM模型预测值，基于异动指数对数据进行处理，得到一条可以描绘指标间潜在关系的异动指数误差曲线；4、运用根因分析模型，分析每个指标间的异动影响程度，找出影响因素较大指标，确定主因指标；

五、多指标预警：如果多个指标的潜在关系保持稳定，使用LSTM预测的误差应一直保持在合理的区间内，当预测误差发生突变时，多个KPI之间的关系被打破，即认为发生异常，当指标间异动程度偏离正常区间的阈值时，认为KPI指标间的关系被打破，发生了异动的趋势，那么在这段时间内就存在异常，需要进行告警。

2.根据权利要求1所述的基于数据中心数据采集平台的多指标异动分析方法，其特征在于，通过定义异常指数O_t，来刻画异常程度：

其中

其中为t时刻指标i的真实值，为t时刻指标i的预测值，为t时刻指标i的相对误差值，为t时刻以前指标i的相对误差均值。

3.根据权利要求1所述的基于数据中心数据采集平台的多指标异动分析方法，其特征在于，单指标模型使用机器学习或者统计预测的方法对于运维指标的内部规律进行抓取；其中机器学习方法包括循环神经网络；统计预测方法包括ARIMA/Holt-Winters预测方法。

4.根据权利要求1所述的基于数据中心数据采集平台的多指标异动分析方法，其特征在于，当多KPI分析模块有异常报警时，使用逐步回归的方法来对选取的指标的异常数据进行根因分析，最终确定每个指标间的异动影响程度，影响程度最大的指标即为主因指标。