[发明专利]一种基于模拟退火的扩展孤立森林的异常检测方法及系统

权利要求书

1.一种基于模拟退火的扩展孤立森林的异常检测方法，其特征在于，包括以下步骤：

S1、数据采集：通过离群值检测数据库收集其中的真实数据集，所述数据集包括低维数据集和高维数据集，样本数量较少的数据集和样本数量较多的数据集；

S2、数据预处理：对于样本数量较少的数据集Lympho，则采用10折交叉验证求平均值的方法进行实验，对于其他数据集则采用5折交叉验证法；设置iTree的初始参数，构建L棵iTree组成初始EIF，使用数据集对参与集成的L棵iTree进行训练，基于Q-统计量法计算iTree之间的平均差异值，再根据K折交叉验证法计算每棵iTree的精度值；

S3、结合模拟退火算法构建EIF：结合模拟退火算法从L棵iTree中选出k棵检测性能较优的iTree构建EIF；算法重复执行“产生新解→计算目标函数差→判断是否接受新解→接受或舍弃”的迭代过程，如果满足终止条件则终止上述过程，并输出当前选择的iTree；否则，减小控制参数t的值，并重复上述过程；最终使用从T棵iTree中选择的k棵iTree来构建EIF；

S4、结果评测：对测试集X使用构建的EIF进行检测，根据实例x在每棵iTree中的平均路径长度E(h(x))计算其异常分数S(x,ψ)。

2.根据权利要求1所述的一种基于模拟退火的扩展孤立森林的异常检测方法，其特征在于，所述步骤S3具体为：

S3.1、首先初始化参数：设初始温度t＝t0，结束温度t'，Metropolis链的长度即任意温度的迭代次数C，任取一棵iTree作为初解T_i；

S3.2、产生新解：基于当前温度t的大小，随机扰动产生一个新解T_j；

S3.3、计算目标函数差：Δf＝F(T_j-F(T_i)；其中，F(T_i)，F(T_j)分别为树T_i和T_j的适应度值；

S3.4、判断是否接受新解：根据Metropolis接受准则，若Δf0，则接受Tj作为新的当前解；否则以概率接受T_j作为新的当前解，其中，k是玻尔兹曼常数；

S3.5、判断在当前温度t下，是否达到迭代次数C，若不满足迭代次数，则返回至S3.2；

S3.6、当满足模拟退火算法规定的终止条件，则返回当前解为最优解；终止条件如下：A、连续若干个Metropolis中都没有新解被采用；B、t≤t'，即当前温度t小于等于设定的结束温度t'，若不满足终止条件，则根据温度衰减函数缓慢降低当前温度t，并返回至S3.2，衰减函数如公式(1)所示：

S3.7、最终从T棵iTree中筛选出k(k≤L)棵检测性能较优的iTree构建EIF。

3.根据权利要求1所述的一种基于模拟退火的扩展孤立森林的异常检测方法，其特征在于，步骤S4中对于异常分数的评估指标如下：

A、E(h(x))→n-1，s→0，说明x平均路径越长，越不容易被孤立，越有可能为正常点；

B、E(h(x))→0，s→1，说明x越容易被孤立，越有可能为异常点；

C、E(h(x))→c(ψ)，s→0.5，说明实例x的平均路径长度E(h(x))与iTree中查找点失败的平均路径c(ψ)相近，则x可能为异常点，也可能为正常点。

4.一种基于模拟退火的扩展孤立森林的异常检测系统，所述系统采用了如权利要求1～3中任一项所述的一种基于模拟退火的扩展孤立森林的异常检测方法，其特征在于，所述系统包括以下模块：

数据采集模块：主要负责通过爬虫技术在数据平台进行数据爬取；

预处理模块：主要负责对采集到的数据进行筛选过滤，选择符合要求的数据进行下一步的处理分析；

数据处理模块：结合模拟退火算法构建EIF，对预处理的数据进行算法迭代操作后，选择一定数量的iTree来构建EIF；

结果评测模块：计算数据处理后的平均路径长度与异常分数，从而判定是否为异常点。