[发明专利]一种环境异常检测方法和系统

说明书

本发明公开了一种环境异常检测方法和系统，包括：构建具有局部敏感特性的Isolation Forest模型；将环境检测数据输入Isolation Forest模型进行数据过滤，得到候选异常数据集；基于LOF算法对候选异常数据集进行异常数据判定，输出异常环境检测数据。本发明提供的环境异常检测方法，构建具有局部敏感特性的Isolation Forest模型，有利于解决Isolation Forest算法对局部的异常点不敏感问题，提高异常检测的准确性，将具有局部敏感特性的IsolationForest模型作为LOF算法的数据过滤器，为LOF算法提供了候选异常数据集，从而减少了异常检测的运算时间，提高了效率，解决了现有的环境异常检测方法准确性不高和效率低下的技术问题。

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种环境异常检测方法和系统。

背景技术

在信息化时代数据的爆炸式增长下，对数据进行挖掘分析显得尤为重要。异常检测是数据挖掘领域的一个重要分支，指通过数据挖掘手段识别数据中的异常点。异常点是使用不同机制产生的且数量上相对较少的点，在实际场景中，其往往包含着更为重要的信息。

用于环境异常数据检测的算法有多种，其中比较常用的是Isolation Forest算法和局部异常因子算法(Local Outlier Factor，LOF)。Isolation Forest算法是基于样本整体的异常检测方法，由于其不用通过计算样本点间距或密度寻找异常数据，因此可以很好地处理大量的高维数据(如环境检测数据)，除此之外，算法还有内存要求低、处理速度快等优点，但缺点是Isolation Forest算法对局部的异常点不敏感，例如对细微的环境异常波动，其并不能精准的进行检测。LOF算法是比较有代表性的基于相似度衡量的算法。由于环境检测数据不是均匀分布的，利用基于全局的Isolation Forest算法对某些异常点进行检测会不如人意，但基于相似度衡量的异常点检测算法引入了数据对象局部密度的概念，利用某个数据对象的局部密度与邻近密度相比，计算得到该数据对象的局部离群因子，局部离群因子比数值1越大，说明此数据对象越可能为异常点。LOF算法对环境检测数据的异常点识别效果好，但其时间复杂度大，运算时间长，不能对高维的环境检测数据进行及时的处理。因此，如何解决Isolation Forest算法存在的异常数据检测准确性问题和LOF算法存在的检测效率问题，是本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种环境异常检测方法和系统，用于解决现有的环境异常检测方法准确性不高和效率低下的技术问题。

有鉴于此，本发明第一方面提供了一种环境异常检测方法，包括：

构建具有局部敏感特性的Isolation Forest模型；

将环境检测数据输入Isolation Forest模型进行数据过滤，得到候选异常数据集；

基于LOF算法对候选异常数据集进行异常数据判定，输出异常环境检测数据。

可选地，构建具有局部敏感特性的Isolation Forest模型，包括以下步骤：

S11、获取环境数据训练集；

S12、采用LSH算法将环境数据训练集的环境数据训练样本划分到多个哈希桶内；

S13、Isolation Forest模型中的每颗ITree按概率随机从不同的哈希桶中抽取ψ个用于每颗ITree构建的环境数据训练样本；

S14、随机抽取环境数据训练样本中某个属性和属性的切分值，根据属性和切分值对每颗ITree的环境数据训练样本进行切分，得到左子树数据集和右子树数据集；

S15、在左子树数据集和右子树数据集上按照步骤S14重复构造子树，直到需划分的数据集中仅包含相同的环境样本或ITree的高度达到极限；