[发明专利]一种自动去除时序数据野值点的方法

说明书

技术领域：

本发明属于智能信息处理和计算机技术领域，具体涉及一种针对不同时序参数数据自动去除时序数据野值点的方法。

背景技术：

在真实采集的时序数据中由于环境干扰、随机干扰、传输噪声等原因往往含有大量野值，即远远脱离许可范围的数据。这些野值不是正常的测量数据，而是噪音点。如果野值不经过处理直接参与计算，往往导致数据分析精度降低，干扰正常的判定结果，严重时甚至引起数据分析结果的失效。人类专家由于具有丰富的专业知识和经验，可以比较准确地分辨出野值和正常值。但是让计算机进行自动识别就有很多困难。

不同的数据参数具有不同的特征，一般需要人工指定每个参数的特质范围，来识别野值点。若参数合理范围发生了变化，则需要人工重新指定，这就无法自动适应相应变化。针对这种情况，本发明提供了一种对时序数据野值点进行自动去除的方法。

发明内容：

本发明提供了一种对时序数据野值点进行自动去除的方法。该方法解决了利用计算机对数据空间中存在的大量野值进行自动识别并去除的问题。

具体如下：

一种自动去除时序数据野值点的方法，包括参数配置模块，识别数据集的载入、数据格式转换及清洗模块，基于方差的密度聚类野值点识别模块，和野值点识别结果的解释模块；参数配置模块，完成将包括用户设置训练数据集、N倍参数、时间窗口、收敛阈值等模型参数的xml文档的创建、载入和解析；数据格式转换模块将文本数据或流数据转换为方法定义的点(Point)结构，同时完成对缺失数据的补全和数据采样；基于方差的密度聚类野值点识别模块是方法的核心部分，对转换后的点(Point)数据进行多次野值识别，计算野值点识别收敛程度，终止野值点识别；对野值点识别结果的解释部分完成对点(Point)数据转换成原始数据格式，保存识别结果标签，图形化显示野值识别结果。

优选地，参数配置模块创建包括用户设置训练数据集、N倍参数、时间窗口、收敛阈值等模型参数的可扩展标记语言(eXtensible Markup Language，xml)文档；基于方差的密度聚类野值点识别模块载入模型参数xml文档；解析文档参数信息，定义到方法变量中，完成用户交互的第一步；在基于方差的密度聚类野值点识别模块运行结束后，将野值点识别的结果写入xml文档，返回给用户；通过解析包含结果的xml文档，图形化显示解释野值点识别的结果。

优选地，基于方差的密度聚类用方差、均值和时间窗口来聚类；这个方法一方面根据时间窗口在时间上对时序数据进行划分；另一方面用方差、均值等量表示阈值半径内的密度；对于单一维度的数据，基于方差的密度聚类方法中关心的“距离”使用统计学中的方差、均值来衡量。

优选地，数据包括噪音点、边界点和核心点；(1)噪音点的判断条件为，该点与观察窗口均值之差大于N倍的观察窗口的标准差；(2)边界点的判断条件为，该点与观察窗口均值之差不大于N倍的观察窗口的标准差，且大于某一阈值；(3)核心点的判断条件为，该点与观察窗口均值之差不大于N倍的观察窗口的标准差，且小于某一阈值。

优选地，基于方差的密度聚类野值点识别模块计算野值点识别收敛程度，并决定是否终止野值点识别；野值点识别过程可以重复多次以减小野值点漏检率；每次计算数据点方差和的变化量，如果方差和的变化量收敛到某一阈值，即当一定时期内方差和变化量的累计值小于该值时，则认为野值点识别方法收敛了，达到了将数据集中野值点标记出的状态，此时终止野值点识别；另外若野值点识别过程重复次数过多，有可能会将正常值当成野值点识别出来，造成野值识别误差增大，此时也应终止野值点识别。

优选地，使用方差、均值、时间窗口聚类识别野值点。

本发明利用基于方差的密度聚类，结合时序数据固有的特征，进行野值点自动识别。从而帮助数据分析人员进行数据清洗，减少野值数据对数据分析精度，判定结果的影响，避免了数据分析结果的失效性。该方法是一种脱离数据本身特征的野值识别方法，即对于不同形态的参数，可以使用同一野值识别规则，降低专家知识等先验条件的影响。

基于方差的密度聚类野值点识别模块中识别野值点的方法用方差、均值和时间窗口来聚类；这个方法一方面根据时间窗口在时间上对时序数据进行划分；另一方面用方差、均值等量代替了密度阈值、半径等量；显然方差、均值的含义更明显，更容易理解和解释一些。

同时参数的设置比基于密度野值识别方法更简单；对于单一维度的数据，基于密度的聚类方法中关心的“距离”使用统计学中的方差、均值来衡量。

附图说明：