[发明专利]一种基于空间关系的流域水质监测异常值检测方法

说明书

本发明涉及一种基于空间关系的流域水质监测异常值检测方法。该方法包括对单一河道和非单一河道进行异常值检测，适用于检测水质监测数据中的点异常与集合异常值。对于单一河道：在河流段上生成等距且密集的数据点，通过提取等距密集点的高程值并结合其周边的地势判断河流的流向；利用最小二乘法对同一月份同一水质指标的数据进行线性模拟，根据模拟直线的斜率分离出集合异常值；通过计算均方误差并设置相应的阈值，对剩余数据进行点异常判定。对于非单一河道：利用一维水质模型计算干流和支流在干支流交汇处的水质指标值，通过对比将非单一河道的异常值检测转化成单一河道的异常值检测。该方法利用了水质断面的空间位置、地形和水系之间的关系进行水质异常值检测，既分离出了点异常与集合异常又提高了异常值检测的准确率。

技术领域

本发明为地理信息系统与水文水资源交叉的信息领域，特别涉及一种基于空间关系的流域水质监测异常值检测方法。

背景技术

随着世界人口的急剧增长与社会经济的不断发展，严重的水污染问题也随之出现。近年来，国家的相关部门在各大河流、湖泊、水库等处建设了大量的水质监测站点，每隔一定的周期监测每个断面的水质情况，因此获得了海量的水质监测数据。然而在对其进行加工的过程中，异常值会极大地干扰到水质数据的分析结果，因此如何有效的识别水质数据中的异常值成为了目前需要解决的重难点问题。

异常值检测是在大量的数据集中提取出小概率的异常数据点，目前主流的水质异常值检测方法有以下几类：(1)基于统计学的检测方法；(2)基于聚类的检测方法；(3)基于机器学习的检测方法。

统计学方法是最早应用于水质数据异常值检测之中的，对于正态分布、对数分布、指数分布、Weibull等都有较成熟的检测方法。其中基于正态分布的检测应用最为广泛，常见的检测方法有3σ原则、t检测法、Dixon法等。对于不服从正态分布的数据，一般需要将其转化为正态分布，如幂变换是常用的正态变化方法。对于那些转换后正态效果不明显的分布，可以采用非参数方法，如箱型图和Walsh检测法。

基于聚类的异常值检测方法的基本思想是将异常检测过程转换为聚类的过程，聚类的目的在于将数据集划分为若干簇，并且簇内实体间距离尽可能小，簇间实体间距离尽可能大，将聚类后那些不隶属与任何簇的实体识别为异常。聚类方法常见的有：K均值聚类(k-means clustering algorithm，K-Means)和K最近邻聚类(K-Nearest Neighbor，KNN)算法。通过聚类可以高效地从数据集中发现异常实体，但是聚类的主要目的在于发现簇，异常实体仅是一种副产物，使得异常检测精度不够高。

机器学习的检测方法应用较多的主要是人工神经网络(Artificial NeuralNetwork，ANN) 和支持向量机技术(Support vector machines，SVM)。基于人工神经网络的异常值检测方法可以根据自身特点挖掘数据中存在的异常，自动调节网络节点之间的权重。该方法的基本思想是将训练数据分为正常数据和异常数据两类，经过训练的神经网络能够对目标数据进行分类。基于支持向量机技术的异常检测算法是通过构造最优分类超平面来实现正常数据和异常数据的分类，为提高检测效率常采取一定的改进方法对特征参数进行优化。

上述所述的所有检测方法有一个共同的特征，即它们都是针对异常值的通用检测方法，只是将其应用于水质异常检测中，忽略了水质异常值的特性，使得水质异常值检测的精度较低。

发明内容

本发明的目的在于设计一种基于空间关系的流域水质监测异常值检测方法，通过对水质监测断面的空间位置、地形以及水系之间的关系进行综合分析，找出各监测断面水质指标数据分布的规律，进而检测出水质指标数据中存在的异常值，提高水质异常值的检测精度。

为实现本发明所述的水质异常值检测方法，设计如下步骤：

1、水流方向提取。水流方向提取包括以下两个步骤：