[发明专利]一种基于改进IForest的工业数据去噪方法在审
| 申请号: | 201811439128.2 | 申请日: | 2018-11-29 |
| 公开(公告)号: | CN109543765A | 公开(公告)日: | 2019-03-29 |
| 发明(设计)人: | 孙杰;李鹏飞;丁有伟;陈智也;沈祥红 | 申请(专利权)人: | 江苏海平面数据科技有限公司 |
| 主分类号: | G06K9/62 | 分类号: | G06K9/62 |
| 代理公司: | 南京品智知识产权代理事务所(普通合伙) 32310 | 代理人: | 奚晓宁;杨陈庆 |
| 地址: | 210019 江*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 工业数据 去噪 异常点检测 异常检测 孤立 森林 检测器 存放采样数据 缓冲区 定时更新 缓冲技术 机器学习 训练模型 训练数据 阈值设定 数据处理 传统的 新数据 更新 构建 改进 淘汰 全局 学习 | ||
1.一种基于改进IForest的工业数据去噪方法,其特征在于,包括如下步骤:
1)构建初始孤立森林IForest;
1-1)构建树iTree;
1-2)将所有的树iTree组合起来形成了初始的孤立森林IForest;该孤立森林作为初始的异常检测器;
2)在线异常检测;
对每个到达的数据,将其对应的不同种类的数据放入步骤1)中已经建好的孤立森林中,判断异常状况,如果根据输入数据平均深度得到的异常得分高于预先设定的阈值,说明该到达数据没有达到普遍水平,是异常数据;
3)判断是否需要更新检测器;
根据用户预先定义的应用规模进行计算,如果存放样本的缓冲区已满,则对检测器进行更新。
2.根据权利要求1所述的基于改进IForest的工业数据去噪方法,其特征在于,孤立森林IForest是由大量的树iTree构成;iTree是一种随机二叉树,每个节点要么有两个孩子,要么就是叶子节点;给定历史数据集D, D中所有属性都是连续型的变量,iTree的构成过程如下:
1-1-1)在所给定的历史数据集D中随机选择一个属性Qi;
1-1-2)随机选择该属性的一个值q,该值介于最大和最小值之间;
1-1-3)根据步骤1-1-1)中所述的属性Qi对每条记录进行分类,把属性Qi值小于q的记录放在左孩子,把属性Qi值大于等于q的记录放在右孩子;
1-1-4)递归的构造左孩子和右孩子,直到满足传入的数据集只有一条记录或者多条一样的记录或者树的高度达到了限定高度l;修改孤立森林的路径数N,其初值为0。
3.根据权利要求1所述的基于改进IForest的工业数据去噪方法,其特征在于,步骤2)中,在所述到达的数据到达时,要基于泊松分布,判断该样本是否作为更新样本添加到设定好存放样本数据的缓冲区,在所述缓冲区中,样本数据按照时间先后顺序排列。
4.根据权利要求1所述的基于改进IForest的工业数据去噪方法,其特征在于,步骤2)中变压器数据异常的检测过程,包括如下步骤:
2-1)首先收集变压器历史数据,其中变压器历史数据包括电压比、工作频率、电感量、防护等级以及满载性能;对这些不同类型的数据进行整理,使用数值表示;
将上述历史数据按照IForest算法建立孤立森林,用作进行异常检测的模型;
2-2)将进行实验确定异常数据得分的阈值设为0.5;当设备运行数据到来时,对其中各种类型的数据在孤立森林中进行深度计算,求其均值,并按照异常得分函数计算其异常得分,如果超过阈值0.5,则进行预警,说明当前到来数据存在异常;如果没有超过阈值0.5,则等待下一次设备运行数据的到来;
在运行数据到达的时候还应该对其服从的分布情况计算,如果服从泊松分布,而且缓冲区不满时,应将该数据加入缓冲区;
2-3)当缓冲区已满,或者固定更新异常检测模型的时间到了,则需要对异常检测模型,也就是IForest进行更新,以确保异常检测的准确性。
5.根据权利要求1所述的基于改进IForest的工业数据去噪方法,其特征在于,步骤(3)判断是否需要更新检测器;根据局部性原理,对于即将到来的数据,新数据比旧数据更有价值,因此,设定固定时间对缓冲区中旧数据进行淘汰,以便新数据到来时方便存放;其具体步骤如下:
3-1)根据用户预先定义的应用规模计算异常率,如果到了固定的更新时间或样本缓冲区已满,则对检测器进行更新;
3-2)根据用户预先定义的应用规模进行计算,如果存放样本的缓冲区已满,则对检测器进行更新;
最终返回更新的异常检测器,也就是孤立森林IForest’。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏海平面数据科技有限公司,未经江苏海平面数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811439128.2/1.html,转载请声明来源钻瓜专利网。





