[发明专利]一种考虑地形和风向的环境空气质量监测异常值检测方法

说明书

本发明涉及一种考虑地形和风向的环境空气质量监测异常值检测方法。该方法适用于检测空气质量监测数据包含的六项污染物监测值中的点异常与集合异常值。首先将检测区域按照地形复杂度分为简单地形和复杂地形，对于简单地形：利用最小二乘法对同一月份同一空气质量指标的数据分别进行线性模拟，根据模拟直线判断出集合异常值；通过计算均方根误差并设置相应的阈值，对剩余数据进行点异常判定。对于复杂地形：利用风向和地形情况，分别计算上风向和下风向在地形起伏区域附近监测站点的空气质量各项污染物监测值的平均值，通过对比将复杂地形的异常值检测转化成简单地形的异常值检测。该方法利用了空气质量监测站点的空间位置、地形和风向之间的关系进行空气质量监测值的异常值检测，既分离出了点异常与集合异常又提高了异常值检测的准确率。

技术领域

本发明为地理信息系统与环境空气质量交叉的信息领域，特别涉及一种考虑地形和风向的的环境空气质量监测异常值检测方法。

背景技术

大气污染关系着人体健康，生态环境和气候变化，受到越来越多的关注。近年来，国家的相关部门在全国31个省、自治区、直辖市的338个地级以上城市建设了1436个环境空气质量监测站点，逐步建成了国家、省级和市级3个层面的环境空气质量监测网络，能够实现逐时自动监测到每个监测站点的空气质量情况，累计了海量的空气质量监测数据。然而环境空气自动站会因为恶劣天气、仪器故障等原因产生少量的数据异常，在对其进行加工的过程中，异常值会极大地干扰到空气质量数据的分析结果，因此如何有效的识别空气质量数据中的异常值成为了目前需要解决的重难点问题。

异常值检测是在大量的数据集中提取出小概率的异常数据点，目前主流的空气质量异常值检测方法有以下几类：(1)基于统计学的检测方法；(2)基于主成分分析的检测方法(3)基于聚类的检测方法；(4)基于机器学习的检测方法。

统计学方法是最早应用于空气质量数据异常值检测之中的，对于正态分布、高斯分布、对数分布、指数分布等都有较成熟的检测方法。其中基于正态分布的检测应用最为广泛，常见的检测方法有3σ原则、t检测法、Z-score法等。对于不服从正态分布的数据，一般需要将其转化为正态分布，如幂变换是常用的正态变化方法。对于那些转换后正态效果不明显的分布，可以采用非参数方法，如直方图和箱型图检测法。

基于主成分分析的检测方法将数据从原来的坐标系转换到新的坐标系中，这个新的坐标系的选择由数据集本身所决定。首先选择原始数据集中方差最大的方向当作第一个坐标轴，再一次选择与上一个坐标轴正交且具有最大方差的方向，重复至特征数目的次数，便可将大部分的方差包含在最前边的几个新坐标轴之中，即对数据进行了降维处理。常用的主成分分析方法包括矩阵分解法、马氏距离等。通常来讲，重构对于大多数数据而言的误差是比较小的，对于异常值而言的误差相对较大。

基于聚类的异常值检测方法的基本思想是将异常检测过程转换为聚类的过程，聚类的目的在于将数据集划分为若干簇，并且簇内实体间距离尽可能小，簇间实体间距离尽可能大，将聚类后那些不隶属与任何簇的实体识别为异常。聚类方法常见的有：DBSCAN密度聚类(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)、K均值聚类(k-means clustering algorithm，K-Means)和K最近邻聚类(K-Nearest Neighbor，KNN)算法。通过聚类可以高效地从数据集中发现异常实体，但是聚类的主要目的在于发现簇，异常实体仅是一种副产物，使得异常检测精度不够高。