[发明专利]实时数据采集系统的异常数据实时处理方法

说明书

技术领域

本发明涉及一种数据处理方法，尤其涉及一种用于工业实时数据采集系统中异常数据的处理方法。

背景技术

目前在工业信息化相关领域，基本上都包括工业实时数据采集系统，在数据采集过程中很多情况，特别是由于设备环境温度、湿度、灰尘、磁场、采集元件的信号干扰等瞬间发生采集数据的异常情况，这种数据并不能反应真实情况，并且会造成误报警、运行系统中实时生产曲线异常波动等，影响生产运行，并且在后期数据汇总分析时会造成计算错误等等。这就需要在数据采集时对这种异常数据进行处理，避免出现错误数据。

然而很多的工业实时数据采集系统的数据采集模块并没有对采集上来的数据进行实时处理，并且工业实时数据采集系统的采集频率要求较高，有的达到秒级甚至是毫秒级，这就需要有一种快速的异常数据的处理方法，能够编程实现并且计算快速，来对每个采集上来的数据进行分析，判断出异常数据，并做出相应的处理，剔除或者替换，将正常数据传送到采集系统中。

国内外研究文献中的异常数据的处理方法包括：

概率统计规则算法：包括拉依达准则法、格拉布斯准则法、肖维勒准则法、狄克逊准则法等，该类方法都要求数据满足正态分布，而许多实时数据并不满足该条件，另外该类方法都是基于数据为相同条件下的测量数据异常判断，而非动态变化的工业数据，因此拉以达准则也不能直接应用于工业实时数据的异常判断。

滤波算法：该方法要求系统状态方程和观测方程已知并且满足线性，而且计算方法较为复杂，不能满足更高实时性技术的要求，难以广泛应用。

基于密度的技术：该方法需要确定聚类的初始中心，并且两点之间的聚类阈值需要人工设定，计算结果差别大，如果采集数据过多，计算量大，不适用于实时异常数据的处理。

以上方法为主要在研究和试验中运用的异常数据的处理算法，都具有一定局限性，并且很难在工业实时处理采集系统中推广应用。

在工业实时数据采集系统，数据具有动态性和连续性，工业采集的实时数据是不断变化的，因为真实设备的采集测点本身就是在变化，在数据异常处理的采样数据集中，采集的数据并不一定满足正态分布。工业数据的实时变化一般由生产设备决定，实时数据和历史数据相关，运用一次指数平滑预测实时数据符合工业数据时间序列模型，当预测误差出现异常时，则认为采集数据为异常，因此对指数平滑的预测误差做异常检测。

而对于一次指数平滑预测实时数据处理方法，之前也有论文及发明专利文献提及，但是论文中运用的指数平滑方法的系数没有动态变化，并且误差从模型初始点开始统计，由于指数平滑的预测误差与初值选择、系数选择和迭代步数相关，这样统计的误差结果不符合每个数据的预测模型，模型开始部分的预测数据点的误差一般大于模型后面预测数据点的误差，造成异常判断的错误；专利文献中也没有指数平滑的预测误差运用拉以达准则进行判断，而是对当前采集值与前一采集值的差运用了拉以达准则，这种直接利用数据差分结果判断数据异常算法，以采集数据的差分数据为异常判断对象，没有充分满足拉以达准则使用的前提条件即等精度测量。指数平滑算法的系数只有两个选择，并且没有实现递推的指数平滑方法，预测精度不高。特别是对于一些有延迟的工业采集数据如温度、压力等容易造成误判。

发明内容

本发明的技术效果能够克服上述缺陷，提供一种实时数据采集系统的异常数据实时处理方法，其解决了工业数据采集数据的异常数据处理方法中的异常处理的准确性问题。

为实现上述目的，本发明采用如下技术方案：其包括如下步骤：

(1)初始化样本数据：选取运行正常的偶数个样本数据；

(2)用一次指数平滑方法，采用样本数据的1/2为移动步长，运用一次指数平滑递推方法对样本数据的后半部分进行预测；

(3)通过后半部分的预测值和实测值计算出预测结果的残差；

(4)对残差序列依据拉依达准则进行异常分析，确认实测值是否为异常数据；

(5)如果是异常数据，则用预测值替换该实测值。

本发明采用了对异常判断样本数据分两段，根据后半段的预测误差选择模型系数，提高了预测精度，同时对后半段的预测误差运用拉以达准则进行判断，以对采集数据的模型预测误差为判断对象，预测误差近似符合拉以达准则的条件，即总体满足正态分布和等精度测量(均值检验)。