[发明专利]一种基于属性选择的硬盘故障预测方法

说明书

本发明提供了一种基于属性选择的硬盘故障预测方法，首先采用计算Cohen’s d的方法和假设检验方法在健康硬盘和故障硬盘中选择出具有显著性分布差异的属性；其次通过遗传算法进一步的筛选出对分类预测有良好效果的属性；最后通过这种属性选择方法达到数据降维和提高预测准确率、检测率的目的。

技术领域

本发明属于计算机信息存储领域，涉及一种基于属性选择的硬盘故障预测方法。

背景技术

在云计算和大数据的背景下，大型企业依靠云数据中心为用户提供服务。随着用户和数据的增加，数据中心中的计算机系统页也变得越来越复杂，这种复杂性使得计算机系统更容易受到各种异常的影响。HDD等外部设备作为主要的存储设备，其故障对数据中心的可靠性和可用性产生非常大的影响。因此，对硬盘故障的分析和预测对于维护数据中心中的可靠性和可用性有积极作用。

随着机器学习和数据挖掘等代表性的人工智能技术的发展，给硬盘故障预测带来了新的工具，其中机器学习中的分类算法非常适合解决硬盘故障预测的问题。在数据挖掘过程中，对原始数据的预处理是非常重要一步，不仅可以将数据处理成分类算法可以识别的数据格式，还可以有助于去除数据中的冗余和噪声，提高预测准确率等。其中数据选择作为一种十分重要的数据预处理技术，有助于去除数据的冗余，约简数据量，去除数据噪声，防止分类模型过拟合。

经典的选择技术分为包裹法和过滤法。过滤法就是一种独立与机器学习算法的属性选择方法，其优点就是速度快，可以对高维的数据实现快速地降维，但是其缺点也很明显，就是对机器学习算法的支持不够好，也就是可能会降低分类模型的准确率，典型算法就是relief算法。包裹法就是将分类模型的预测结果作为属性选择的评价指标，这种方法的优点就是和分类模型紧密结合，使得预测结果比较好，缺点就是需要进行多次的训练和预测，时间和空间的开销比较大，典型算法就是lvw算法。最后还有一种嵌入式的属性选择方法，将属性选择和学习器的训练过程融为一体，两者在同一过程中完成，这种方法用的较少。

无论是包裹法还是过滤法都是较为通用的属性选择算法，并没有针对一种具体的问题进行研究，因此在针对硬盘故障预测的问题中属性选择算法的效果还有进一步提高的余地。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于属性选择的硬盘故障预测方法，旨在解决现有数据选择技术存在的分类模型准确率低、快速降维困难的问题。

为实现上述目的，本发明提供了一种硬盘故障预测方法，包括：

d1:选取健康硬盘和故障硬盘，建立健康硬盘的数据集health和故障硬盘的数据集fail；

d2:从数据集health和数据集fail中抽取待考察的属性数据集，分别记为数据集dist1和dist2；

d3:以数据集dist1和dist2作为计算属性Cohen’s d的输入，计算数据集dist1和dist2间Cohen’s d；

d4:再次在数据集dist1和dist2中进行无重复抽样，抽样构成样本sampling_dist；

d5:以属性数据集间的均值比较效应量Cohen’s d和新样本sampling_dist作为输入，计算属性对应的假定值p value；

d6:对比假定值和显著水平alpha的数值大小，判断健康硬盘和故障硬盘具有的属性是否具有显著性差异；

d7:重复步骤d2～d6，直至遍历完硬盘数据集中所有属性，获取筛选后的属性集合；

d8:设置初始化种群大小n_population，种群中每条染色体的长度chrom_len均为通过对Cohen’s d的计算初步筛选得到的属性数量，并对每条染色体的基因随机取值0或1，0代表不选择对应的属性，1代表选择所对应的属性；