[发明专利]一种基于EEMD-神经网络的实时数据异常值检测方法

说明书

一种基于EEMD‑神经网络的实时数据异常值检测方法，考虑现有实时数据异常值检测方法没有考虑历史数据异常值问题。包括：获取历史时间序列数据，按照时间顺序排序；对历史数据用中位数法初步检测；再用EEMD法精细检测，把检测出的异常值用0值替换；接下来用曲线拟合方法对0值进行填补，也即对异常值校正，经过异常值检测和校正得到更接近客观真实的历史数据；最后采用神经网络方法通过对历史数据的学习，可以更加准确地对即将上报的实时数据进行预测，把预测值与实时上报的监测值进行比对可判断是否异常，并加以校正。该方法可用于一维时间序列实时数据的异常值检测，适用的领域广泛，如：水资源、交通、气象、火力发电等实时监测数据异常值检测。

技术领域

本发明涉及一种基于EEMD-神经网络的实时数据异常值检测方法，属于数据分析领域。

背景技术

对于实时数据异常值检测方法的研究，前人已经提出了神经网络、支持向量机等方法，但是没有考虑对历史数据的异常值处理，因为实时数据的准确预测需要建立在历史数据可靠的基础上。而对于历史数据异常值检测，常用的方法包括基于统计、聚类、距离、密度等异常值检测方法，但是这些方法没有考虑时间序列数据的时序变化特性，而是从数据全集考虑，隐藏在局部的异常值难以检测。本发明对于历史数据采用中位数-EEMD方法可以有效检测时间序列局部异常值，再结合神经网络方法可对实时数据异常值更有效地检测。

经验模态分解(Empirical Mode Decomposition，EMD)方法是由Norden E.Huang等人于1998年提出。EMD在机械故障诊断、地球物理探测、生物医学分析等方面都得到广泛的应用。尚未见有文献用于时间序列异常值检测。EMD可将不同尺度的波动或趋势从原信号中逐级分离出来。EMD适用于分析非线性非平稳信号，且具有完全自适应性。原始的时间序列x(t)经过EMD分解得到一系列固有模态函数(Intrinsic Mode Function，IMF)和一个残余项(residual,简记res)，即

其中c_i表示第i个IMF，r_n为残余项。EEMD是EMD的改进算法，有效解决了EMD的混频现象。

曲线拟合的原理是已知样本点(x_i,y_i)(i＝1,2,3,…,n)，求出函数y≈f(x)，使f(x)在原样本点x_i上尽可能接近y_i的值。曲线拟合方法包括最小二乘曲线拟合(多项式拟合)和线性插值拟合，本专利采用最小二乘曲线拟合方法。最小二乘曲线拟合，就是使误差平方和最小的多项式拟合。即寻找一条曲线使在误差平方和最小的准则下与所有数据点最为接近，也即找出使最小的f(x)。通常，多项式的次数选用3次，低于3次，可能会造成波峰丢失，高于3次，拟合时间长，容易产生虚假波峰。

人工神经网络是一种模拟人脑结构及其功能的非线性动力系统，具有自组织、自适应、自学习和较强的鲁棒性与容错性等显著特点。反向传播(Back Propagation，BP)神经网络是目前应用最广泛的神经网络模型之一，是基于误差反向传播算法的多层前向神经网络，它的学习规则是使用最速下降法，通过误差反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。神经网络在手写体识别、图像标注、语义理解和语音识别等技术领域取得了非常成功的应用。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供了一种基于EEMD-神经网络的实时数据异常值检测方法，用于解决实时监测数据存在不可靠数据的问题。

本发明的技术解决方案是：

一种基于EEMD-神经网络的实时数据异常值检测方法，其包括以下步骤：

(1)对原始历史时间序列数据，按照时间顺序进行排序，对缺失数据用0值填补，得到初步整理好的历史数据；