[发明专利]一种基于EEMD-神经网络的实时数据异常值检测方法有效
申请号: | 201710581029.7 | 申请日: | 2017-07-17 |
公开(公告)号: | CN107463633B | 公开(公告)日: | 2019-09-06 |
发明(设计)人: | 方海泉;蒋云钟;周铁军;万毅;冶运涛;薛惠锋;王海宁;郭姣姣;罗婷 | 申请(专利权)人: | 中国航天系统科学与工程研究院;中国水利水电科学研究院;湖南农业大学 |
主分类号: | G06F16/903 | 分类号: | G06F16/903;G06N3/02 |
代理公司: | 中国航天科技专利中心 11009 | 代理人: | 马全亮 |
地址: | 100048*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 eemd 神经网络 实时 数据 异常 检测 方法 | ||
1.一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:其包括以下步骤:
(1)对原始历史时间序列数据,按照时间顺序进行排序,对缺失数据用0值填补,得到初步整理好的历史数据;所述原始历史时间序列数据是指日取水量数据;
(2)对所述初步整理好的历史数据进行异常值检测处理,把检测出的异常值用0值替换;包括如下步骤:
(2.1)通过中位数法对所述初步整理好的历史数据进行初步检测;
(2.2)通过EEMD法对所述初步检测之后的历史数据进行精细检测;具体为:
(a)将数列{bi}中的正数选出来构成一个新的数列
(b)通过EEMD法对进行分解,得到频率从高到低排列的n个分量;
(c)n个分量中,舍去高频分量,把后面m个低频分量以向量求和的方式进行求和,得到一个新的数列其中,1<m<n;
(d)计算偏差比率用于量化与的偏离程度;
(e)设定偏差比率的阈值为d0,偏差比率大于d0的数据为异常值,再把异常值替换为0,把{bi}经过异常值替换得到的数列记为{gi},从而完成对所述初步检测之后的数据进行精细检测;
(3)对异常值检测处理之后的历史数据进行异常值校正处理,即对数据中的0值进行填补,完成历史时间序列数据异常值检测和校正;
(4)对实时数据进行异常值检测;
(5)根据步骤(4)得到的异常值检测结果,对实时数据进行异常值校正。
2.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(3)对异常值检测处理之后的历史数据进行异常值校正处理,采用局部曲线拟合法实现;所述步骤(4)对实时数据进行异常值检测,采用人工神经网络实现。
3.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述通过中位数法对所述初步整理好的历史数据进行初步检测,具体为:
(4.1)对于初步整理后的时间序列数据{ai},i=1,2,3,…,把{ai}中的正数选出来构成一个新的数列把的中位数记为
(4.2)计算中每个数与中位数的比值即
(4.3)设定的阈值为r1,r2,若或者则为异常值,把异常值替换为0,时间序列数据{ai}经过替换后得到的数列为{bi},从而完成对所述初步整理好的历史数据进行初步检测。
4.根据权利要求2所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述采用局部曲线拟合法,具体为:
(6.1)对于每一段0值,包括单个0值或者是连续多个0值,前后端各选取一段序列,构成一个子序列{hi};
(6.2)对{hi}进行曲线拟合:把{hi}中的正数选出来,得到一组样本点i+表示{hi}中出现正数的位置,采用多项式对样本点进行曲线拟合,得到的多项式记为f(x);
(6.3)用曲线拟合值替换{hi}中的0值,i0表示{hi}中0值的位置,得到异常值校正后的时间序列数据{ki},i=1,2,3,…,t。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国航天系统科学与工程研究院;中国水利水电科学研究院;湖南农业大学,未经中国航天系统科学与工程研究院;中国水利水电科学研究院;湖南农业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710581029.7/1.html,转载请声明来源钻瓜专利网。