[发明专利]一种基于邻域分区与隔离重构的磁盘异常检测方法

权利要求书

1.一种基于邻域分区与隔离重构的磁盘异常检测方法，所述方法步骤包括：

(1)收集磁盘SMART信息并筛选出有效的磁盘属性特征组成数据集，对其进行指数平滑处理得到稳定磁盘训练集，具体为：采集磁盘SMART属性数据并筛选出其中无缺失且随时间有效变化的磁盘SMART属性，包括：底层数据读取错误率的当前值、底层数据读取错误率的原始值、磁盘读写通量性能的当前值、磁盘读写通量性能的原始值、主轴起旋时间的当前值、主轴起旋时间的原始值、启停计数的当前值、启停计数的原始值、重映射扇区计数的当前值、重映射扇区计数的原始值、寻道错误率的当前值、寻道错误率的原始值、寻道性能的当前值、寻道性能的原始值、通电时间累计的当前值、通电时间累计的原始值、主轴起旋重试次数的当前值、主轴起旋重试次数的原始值、通电周期计数的当前值、通电周期计数的原始值、串口降速错误计数的当前值、串口降速错误计数的原始值、I/O错误检测与校正的当前值、I/O错误检测与校正的原始值、无法校正的错误的当前值、无法校正的错误的原始值、命令超时的当前值、命令超时的原始值、高飞写入的当前值、高飞写入的原始值、气流温度的当前值、气流温度的原始值、冲击错误率的当前值、冲击错误率的原始值、断电返回计数的当前值、断电返回计数的原始值、磁头加载/卸载计数的当前值、磁头加载/卸载计数的原始值、温度的当前值、温度的原始值、编程错误块计数的当前值、编程错误块计数的原始值、当前待映射扇区计数的当前值、当前待映射扇区计数的原始值、脱机无法校正的扇区计数的当前值、脱机无法校正的扇区计数的原始值、Ultra访问校验错误率的当前值、Ultra访问校验错误率的原始值、磁头飞行时间/传输错误率的当前值、磁头飞行时间/传输错误率的原始值、LBA写入总数的当前值、LBA写入总数的原始值、LBA读取总数的当前值、LBA读取总数的原始值，将采集到的数据作为数据集，通过指数平滑的方法将SMART属性生成为可用于生成模型的序列，指数平滑公式有以下定义：

S_t＝α·Y_t+(1-α)·S_t-1

其中t为时间，Y_t是第t个数据的实际值，S_t是之前t个数据的平滑值，是根据时间t的实际值和前t-1个数据的平滑值递归计算的，将窗口的宽度固定为k，k∈[1,5]，参数α为指数平滑系数，α∈[0,1]；

(2)对磁盘数据集多次随机采样获得多个子训练集，结合欧氏距离计算子集中各点距其最近点的距离，以该距离为半径构建磁盘隔离区域，将不属于任何区域的测试点作为全局异常，具体为：对训练集D进行多次简单随机采样，得到多个样本大小为ψ的子训练集S_i，i是整数且1≤i≤t，t为子集的个数，可根据实际情况选择合适数值，在每个子训练集S_i中，基于欧氏距离计算各点之间的距离，将每个训练点a作为区域中心，以a到其最近训练点η_a的距离τ(a)作为区域半径构建一个磁盘隔离区域，使点a与子集内其它训练点隔离，其中a,η_a∈S_i，对于点a的半径距离τ(a)有以下定义：

τ(a)＝||a-η_a||

对于每个子训练集S_i，设c是距测试点x最近的训练点，c∈S_i，对于测试点x，当且仅当τ(c)＜τ(x)时，x为全局异常，τ(x)和τ(c)分别是点x和点c的半径距离，是确定x是否为全局异常的分界线；

(3)对于非全局异常的测试点，找到所有其所处区域的训练点及该训练点的最近训练点，将对应两点所在区域半径的比值作为该测试点在此区域的重构前异常度量值，具体为：对于每个子训练集S_i，设b为S_i中的任意一个训练点，将以b为球心，τ(b)为半径构建的超球体记为B(b)，则对在B(b)中的任意一个训练点y，有如下定义：

y:||y-b||＜τ(b)

对于不是全局异常的测试点，设c是距测试点x最近的训练点，η_c是距c最近的训练点，c,η_c∈S_i，B(η_c)和B(c)分别是以η_c和c为球心，以τ(η_c)和τ(c)为半径的超球体区域，B(η_c)和B(c)半径的比值是训练点c相对于其邻域的异常度量，将作为测试点x在此区域的重构前异常度量值，

(4)包含测试点后重新构建区域，将测试点所处区域重构后与重构前的区域半径比作为该测试点在此区域的重构后异常度量值，具体为：对于每一个测试点x，设点c∈S_i是x所处区域包含的训练点，则原有训练点在包含测试点x之后重新依据最近邻原则建立区域，将重构后点c的区域半径记为τ(c)′，测试点x所处该区域重构后与重构前的区域半径比为该测试点在此区域的重构后异常度量值；

(5)结合两次度量值得到该测试点在一个区域内的重构分数，将测试点所处所有区域的重构分数之和的倒数作为隔离分数，将多个子集中隔离分数的平均值作为测试点异常分数，具体为：对于每一个测试点x，设点c∈S_i是x所处区域包含的训练点，则其重构分数R(x)，有如下定义：

其中τ(c)′为重构后以c为球心构建的隔离区域半径，将测试点所处所有区域的重构分数之和的倒数作为隔离分数，则隔离分数A(x),有如下定义：

其中，k为测试点x所处区域的个数，对正常样本数据集进行多次采样获得多个子训练集{S₁,S₂,...,S_t}，t为子集的个数，可根据实际情况选择合适数值，分别在每个子集S_i(1≤i≤t)中计算测试点x的隔离分数，则对于测试点x的异常分数A(x)，有如下定义：

其中A_i(x)是测试点x在第i个子集中的隔离分数；异常分数可以衡量x的异常程度，越大则表明测试点x异常程度越高；反之，越小则表明测试点x异常程度越低。