[发明专利]一种基于孤立森林算法和神经网络的电力运维数据清洗方法

权利要求书

1.一种基于孤立森林算法和神经网络的电力通信运维数据清洗方法，其特征在于，包括以下步骤：

S1、利用改进的孤立森林算法，构造解决目标问题的孤立森林模型iForest；

所述S1的具体包括如下：

S11、方法的开始阶段，首先将属性分组；

S12、从训练数据集中随机选择ψ个样本数据点作为子采样集，并构造一棵初始iTree，将子采样集放入树的根节点；ψ为随机选择的样本数据点个数；

S13、随机指定数据项的一个属性组，在当前节点数据中选择划分切割点；

S14、以此切割点生成一个超平面，将当前节点的数据空间划分为两个子空间，并划分数据项；

S15、递归构造新的孩子节点，直到孩子节点中只有一个数据项，即无法继续切割；或该iTree已经达到初始定义好的限定高度；

S2、定义孤立森林算法对异常数据的评价体系；

S3、训练学习速率自适应BP神经网络对通过孤立森林检测出的异常数据属性进行预测修正；

所述S3具体包括：

S31、随机选取数据集中小批量的数据样本，即输入向量与输出期望值的组合，代入神经网络；

S32、逐层进行前向传播过程，根据式(4)和式(5)计算神经网络各层的激活值：

其中W表示BP神经网络中的权值参数，表示第l层第j单元与第l+1层第i单元之间的权值参数；b：BP神经网络中的阈值参数，表示第l+1层第i单元的偏置；f表示激活函数，μ的取值范围为(0,1)，表示第l层第i单元的激活值，通过逐层计算，直到得出神经网络的输出值h_W,b(x)；

S33、根据式(6)计算期望值与实际输出的误差：

其中，h_W,b(x)表示神经网络经过前向传播取得的输出值，y表示期望值，W和b分别表示权值矩阵与阈值矩阵，J表示误差；

S34、根据式(7)计算整体代价函数，若函数收敛到全局极小值则结束，否则转S35；

其中，L表示神经网络的整体代价函数，m表示样本数量；

S35、进行反向传播过程，反向传播的过程是通过梯度下降算法调整神经网络各层的参数，不断使代价函数减小，首先计算各神经元的误差，并根据式(8)求出误差梯度：

其中，表示代价函数对权值参数的误差梯度；

S36、判断梯度变化趋势，自适应调整神经网络的学习速率，如果相邻两次梯度调整为同方向，则根据式(9)增大学习速率，如果相邻两次梯度调整为相反方向，则说明梯度变化波动较大，根据式(10)减小学习速率：

其中，α_k+1表示k+1时刻神经网络的学习速率，用于控制神经网络反向传播过程中梯度变化的速度，α_k表示k时刻神经网络的学习速率，和分别表示k时刻和k-1时刻计算的梯度值，并引入动量因子η，取值为(0,1)；

S37、根据式(11)和式(12)的梯度下降算法更新权值参数和阀值参数，α表示当前学习速率，然后返回S31，

2.根据权利要求1所述的一种基于孤立森林算法和神经网络的电力通信运维数据清洗方法，其特征在于，所述S2具体包括：

S21、选定测试数据x，将其代入森林中的每一棵iTree；x表示测试数据；

S22、计算其落在每棵树的深度h(x)，并计算所有h(x)的平均值E(h(x))；其中h(x)表示测试数据点落在每棵树的深度；E(h(x))表示所有h(x)的平均值；

S23、根据式(1)设置标准平均搜索长度c(ψ)：

c(ψ)＝2H(ψ-1)-(2(ψ-1)/ψ) 式(1)

其中H(i)按式(2)计算：

H(i)＝ln(i)+Ec 式(2)

Ec为欧拉常数，其值为0.5772；c(ψ)表示iTree的标准平均搜索长度；

S24、根据式(3)定义待测数据的异常评分s(x,ψ)：

s(x,ψ)表示待测数据的异常评分，异常评分值越接近1，说明数据为异常数据的可能性越大。