[发明专利]一种自动去除时序数据野值点的方法

权利要求书

1.一种自动去除时序数据野值点的方法，其特征在于：包括参数配置模块，识别数据集的载入、数据格式转换及清洗模块，基于方差的密度聚类野值点识别模块，和野值点识别结果的解释模块；参数配置模块，完成包括用户设置训练数据集、N倍参数、时间窗口、收敛阈值的模型参数的xml文档的创建、载入和解析；数据格式转换模块将文本数据或流数据转换为方法定义的点结构，同时完成对缺失数据的补全和数据采样；基于方差的密度聚类野值点识别模块是方法的核心部分，对转换后的点数据进行多次野值识别，计算野值点识别收敛程度，终止野值点识别；对野值点识别结果的解释部分完成对点数据转换成原始数据格式，保存识别结果标签，图形化显示野值识别结果。

2.根据权利要求1所述的自动去除时序数据野值点的方法，其特征在于，参数配置模块创建包括用户设置训练数据集、N倍参数、时间窗口、收敛阈值的模型参数的可扩展标记语言文档；基于方差的密度聚类野值点识别模块载入模型参数xml文档；解析文档参数信息，定义到方法变量中，完成用户交互的第一步；在基于方差的密度聚类野值点识别模块运行结束后，将野值点识别的结果写入xml文档，返回给用户；通过解析包含结果的xml文档，图形化显示解释野值点识别的结果。

3.根据权利要求1所述的自动去除时序数据野值点的方法，其特征在于，基于方差的密度聚类用方差、均值和时间窗口来聚类；这个方法一方面根据时间窗口在时间上对时序数据进行划分；另一方面用方差、均值等量表示阈值半径内的密度；对于单一维度的数据，基于方差的密度聚类方法中关心的“距离”使用统计学中的方差和均值来衡量。

4.根据权利要求3所述的自动去除时序数据野值点的方法，其特征在于：数据包括噪音点、边界点和核心点；

(1)噪音点的判断条件为，该点与观察窗口均值之差大于N倍的观察窗口的标准差；

(2)边界点的判断条件为，该点与观察窗口均值之差不大于N倍的观察窗口的标准差，且大于某一阈值；

(3)核心点的判断条件为，该点与观察窗口均值之差不大于N倍的观察窗口的标准差，且小于某一阈值。

5.根据权利要求1所述的自动去除时序数据野值点的方法，其特征在于，基于方差的密度聚类野值点识别模块计算野值点识别收敛程度，并决定是否终止野值点识别；野值点识别过程可以重复多次以减小野值点漏检率；每次计算数据点方差和的变化量，如果方差和的变化量收敛到某一阈值，即当一定时期内方差和变化量的累计值小于该值时，则认为野值点识别方法收敛了，达到了将数据集中野值点标记出的状态，此时终止野值点识别；若野值点识别过程重复次数过多，也应终止野值点识别。

6.根据权利要求1所述的自动去除时序数据野值点的方法，其特征在于，使用方差、均值和时间窗口聚类识别野值点。