[发明专利]一种存储设备时序分类预警方法

摘要

本发明公开了一种存储设备时序分类预警方法，包括：实时采集存储设备参数；数据清洗；进行ARIMA时序分析；logistic回归分析和预警机制输出步骤。本发明在大数据的环境背景下，根据统计得到的历史数据和硬盘SMART信息，采用ARIMA模型进行时序预测分析，分析SMART特征值与存储设备故障率的相关性，进而选取出更适合于Logistic模型的特征值进行分类预测。本发明采用机器学习的方法预测存储设备故障率，解决了存储设备最终预测中存在的分类单一性和预警低强度的问题，克服了现有技术对于磁盘的预警机制存在的滞后性和准确率低、实际预警效用不大，难以应用于大数据环境的缺陷，能预测每类预警强度发生概率大小，为数据中心环境下的实时运维和监控提供了有效的应对解决方案。

主权项

1.一种存储设备时序分类预警方法，其特征在于，包括如下步骤：/n(1)实时采集存储设备参数，取得历史统计数据/n所述存储设备参数从存储设备的SMART信息取得；包括存储设备的基本属性信息：CPU主频，缓存和负载百分比，负载大小，内存容量大小，内存实时运行状态下容量使用大小，HDDI/O的大小，SSDI/O的大小，HDD容量大小和实时容量使用大小，SSD容量大小和实时容量使用大小；/n所述历史统计数据包括上面所列的参数和故障发生日志，可根据SMART数据文件统计取得；/n(2)平稳性判断/n按SMART信息的不同类型属性值，对步骤(1)获得时间序列数据中取一组，作为特征数据进行平稳性判断；/n若特征数据是平稳的转步骤(3)；/n若特征数据非平稳，则进行平稳化处理：采用差分运算，对特征数据进行d阶差分运算，实现平稳化处理；所述阶数d即为使特征数据变为平稳序列时所对应的差分次数；/n(3)噪声检验/n对平稳化后的特征数据进行噪声检验，如果未通过噪声检验，说明该特征数据的有用信息已经被提取完毕，应当舍弃该组数据，转步骤(2)；否则，转步骤(4)；/n所述噪声检验方法包括纯随机性检验和方差齐性检验；纯随机性采用构造检验统计量，优选Q统计量；方差齐性检验采用最小二乘法；/n(4)进行ARIMA时序分析，根据时间序列模型的识别规则，建立相应的模型，得到的模型参数(m,q)值的具体大小；对得到的经过噪声检验的特征数据，分别求得其自相关系数和偏自相关系数，并对自相关图和偏自相关图进行分析，得到最佳的阶层m和阶数q；/n若平稳序列的偏相关函数是m阶截尾的，而自相关函数是拖尾的，可断定序列适合AR(m)模型；/n若平稳序列的偏相关函数是拖尾的，而自相关函数是q阶截尾的，则可断定序列适合MA(q)模型；/n若平稳序列的偏相关函数和自相关函数均是拖尾的，则序列适合ARMA(m,q)模型；/n(5)logistic回归分析/n采用Logistic回归分类算法进行处理，用经步骤(4)ARIMA模型时序分析输出的时间序列值作为输入自变量；用人工预先加上标签预警概率p作为输出因变量；/n所述预警概率p分类，即存储设备的预警强度分类，指按p大小分成5类，分别是“正常”、“初级预警”、“中级预警”、“高级预警”和“最高预警”；/n(6)误差分析/n根据Logistic回归分类算法中得到的分类结果数据与实际统计得到的标签结果数据进行比较，进行误差分析，不断地训练和优化整个有监督的机器学习模型；若误差分析结果满足优化完成条件，则输出模型的具体参数，转步骤(7)；否则调整机器学习模型的参数，转步骤(5)，开始新一轮的训练；/n所述误差分析是指通过计算模型的预测精度统计量指标，用于调整机器学习模型的参数，从而改善模型预测精度统计量指标；/n所述优化完成条件是指预测精度统计量指标达到预定指标，此时对数损失函数和平方根误差这两个衡量模型预测精度统计量最小；/n(7)预警机制输出/n采用所述优化过的机器学习模型对当前存储设备的特征数据进行预测分类；对Logistic分类算法的二元输出，用softmax函数多元分类，从而实现多元分类；得到发生预警时的具体量化强度大小，得到最终预警的结果，输出结果；/n /n