[发明专利]一种基于邻域分区与隔离重构的磁盘异常检测方法

说明书

本发明实施例提出了一种基于邻域分区与隔离重构的磁盘异常检测方法，包括：收集磁盘SMART信息并筛选出有效的磁盘特征属性组成数据集，对其进行指数平滑处理得到磁盘训练集；多次随机采样训练集获得多个子训练集，在子集中以各点距其最近点的距离为半径构建磁盘特征隔离区域，将不属于任何区域的测试点作为全局异常；对于非全局异常的测试点，将其连续两个近邻点所在区域半径比作为该测试点在此区域的前异常值；包含测试点后重新构建区域，将测试点所处区域重构前后的半径比作为该测试点在此区域的后异常值；结合测试点所处所有区域的前后异常值得到异常分数，本发明实施例提供的技术方案，能有效提高异常磁盘召回率。

【技术领域】

本发明涉及机器学习领域异常检测方法，尤其涉及一种基于邻域分区与隔离重构的磁盘异常检测方法。

【背景技术】

目前，计算机存储数据使用最多的是磁盘，磁盘的运行情况直接关系到存储数据的安全。数据中心一般具有成百上千块磁盘，这便大大增加了系统出现故障的可能。因此，数据中心需要采用一些机制对磁盘异常情况进行检测，从而避免数据遭到不可逆转的损坏或丢失。

目前常用的磁盘异常检测方法是基于SMART数据的阈值检测方法。它可以通过在磁盘内发送检测指令对磁盘本身的硬件运行情况进行监控、记录并与厂商所设定的预设安全值进行比较。如果检测到某些属性超过或是即将超过预设安全值的安全范围，便会通过主机的监控硬件或是软件自动向用户报警并且进行轻微的自动修复，从而保证磁盘数据的安全。但是只通过SMART预警的成功率并不高，只有3％-10％，无法达到实际要求的，因此就需要对此方法其进行进一步改进。

磁盘拥有几十种SMART属性，如果想要对这些属性加以分析和训练便会需要处理大量的数据，并且这些属性之间存在着一定联系，而机器学习可以对这些大量的数据进行学习，并且自行探寻属性内部的联系，通过构建相应的学习算法模型来处理数据，同时，大量的数据可以不断优化模型，从而可以提高预测磁盘故障的准确性，以达到检测磁盘故障的目的。

在利用机器学习方法解决磁盘异常检测问题时，存在磁盘正、异常数据分布极端不平衡的现象，即异常类样本的数量远远少于正常类样本数量或是没有异常类样本的现象。在极少异常数据的情况下，基于有监督算法的方法不能有效解决该问题。因此，针对此类情况，会考虑使用无监督算法来解决这类问题，其中孤立森林算法在此类算法中表现较好。孤立森林算法每次用一个随机超平面来切割数据空间以及其切割后生成的每个子空间，直到每子空间里面只有一个数据点或者达到预设的终止条件为止。该算法可以只利用正常样本，较为有效的处理样本数据极端分布条件下的分类问题，但是，孤立森林算法无法有效检测局部异常和包裹异常。基于隔离的最近邻方法可在低维数据中较好的解决以上问题，但是较难在高维空间对异常进行有效检测，难以在不同密度条件下有效判定局部异常和包裹异常。因此，需要考虑将测试点根据所处于隔离区域的数量与位置进行结合，从而较为精确的对测试点进行定位，实现对异常磁盘的有效判定。

【发明内容】

有鉴于此，本发明实施例提出了一种基于邻域分区与隔离重构的磁盘异常检测方法，以解决不同密度条件下样本精确定位及区域内特殊异常检测问题。

本发明实施例提出了一种基于邻域分区与隔离重构的磁盘异常检测方法，包括：

收集磁盘SMART信息并筛选出有效的磁盘属性特征组成数据集，对其进行指数平滑处理得到稳定磁盘训练集；

对磁盘数据集多次随机采样获得多个子训练集，结合欧氏距离计算子集中各点距其最近点的距离，以该距离为半径构建磁盘隔离区域，将不属于任何区域的测试点作为全局异常；

对于非全局异常的测试点，找到所有其所处区域的训练点及该训练点的最近训练点，将对应两点所在区域半径的比值作为该测试点在此区域的重构前异常度量值；

包含测试点后重新构建区域，将测试点所处区域重构后与重构前的区域半径比作为该测试点在此区域的重构后异常度量值；