[发明专利]一种水质监测数据缺失值填补方法

说明书

本发明公开了一种水质监测数据缺失值填补方法。本发明把水质监测站的水质监测数据看成一个数据集，这个数据集包含正常水质数据和缺失的水质数据，然后使用改进的OCS‑FCM算法对对数据集中的缺失数据进行求解，主要表现为不断迭代更新隶属度矩阵，直到达到预设的迭代次数，停止迭代。最后，将求解的缺失数据填补到原始数据集中，得到不含缺失数据的完整数据集。本发明方法克服了传统FCM算法在隶属度矩阵参数选择困难的缺点，采用的实时更新隶属度矩阵的方法，实现了缺失数据填补正确率的提高，尤其是在大缺失率数据集的情况下。

技术领域

本发明属于水质监测领域，具体涉及一种水质监测数据缺失值填补方法。

背景技术

在水质监测工程应用中，前端传感器采集的数据往往不能直接使用，数据预处理成为了工程应用中一个不可缺失的步骤。由于传感器老化或者系统不稳定的原因，在水质监测数据采集过程中往往存在数据丢失的现象，造成了水质监测数据集的缺失，故在水质监测实际工程中对缺失数据的填补成为水质监测数据预处理环节的重要一部分。缺失值即数据库中的NULL值，目前水质监测领域中常见的NULL值处理方法有以下几种：

(1)直接丢弃法。即删除水质监测数据库中的NULL值，这种方法简单粗暴，适用于少量的非关键性的水质缺失数据。当缺失数据量比较大，或者缺失的数据属于数据集中的关键信息时，采用直接删除NULL值将会导致关键信息的丢失，造成关键信息资源的浪费。严重情况下会对后续的水质分析结果产生误导，得出错误的实验结果。此方法在实际工程中用的较少。

(2)相邻补齐法。即采用水质监测数据库中与之相邻的数据来填补NULL值，或者用采样序列中该NULL值前一时刻的水质采样数据或者另一时刻的水质采样数据来填补NULL值。该方法显然要比直接丢弃法好，但是采用这样简单的临近填补，不利于体现整个数据集的变化趋势，一定程度上该方法具有局限性。

(3)平均值填补法。与相邻补齐法不同的是，平均值填补是对邻域内一定数量的数据求平均值，取该平均值来填补NULL值。该方法本质上是用水质监测缺失数据的属性值来代替缺失值，多用在缺失值的预测上。

(4)K-means法。K-means法是采用欧式距离来确定缺失数据样本的K个最近的相邻样本，以欧式距离确定权值，对K个临近水质参数样本做加权平均，得到的值作为NULL的填补值。该方法的缺点是，在需要引入自相关分析时，会对增加算法分析的难度。

针对水质监测数据的缺失值填补问题，很多研究者提出了面向不同方向的多种有效方法。YANG提出一种基于模糊C均值聚类(FCM)的水质缺失数据填补方法，对水质监测数据集进行聚类分析，求解缺失的水质监测数据。BEZDEK对模糊C均值聚类方法进行了改进，提出一种基于优化补全策略的模糊C均值聚类(OCS-FCM)水质缺失数据填补方法，该方法是对模糊C均值聚类法的优化，一定程度上提高了水质缺失数据填补的准确率。这两种方法虽然在水质监测缺失数据的填补上表现出了一定程度的效果，但是由于算法本身存在隶属度矩阵取值优化的问题，限制了水质缺失数据填补的准确率，使得这两种方法对水质缺失数据的填补不是十分精确。

水质监测历史数据属性参数众多，缺失数据分布广泛，以上列举的方法均未能很好的实现对水质监测缺失数据的填补。为了解决水质缺失数据填补准确率低下的问题，有必要提出一种新的水质缺失数据填补方法，该方法是一种基于改进的OCS-FCM水质监测数据缺失值填补方法，该方法采用实时更新隶属度矩阵的方法对OCS-FCM算法的参数加以优化，以提高算法的聚类性能，最终得到填补效果较理想的完整水质监测数据集。

发明内容

本发明的主要目的是为了提高水质监测缺失数据填补的准确率，提出一种改进的OCS-FCM水质监测缺失数据填补方法。

本发明所述的基于改进的OCS-FCM算法的水质监测缺失数据填补方法，具体方案如下：

获取水质监测参数时间序列，采用改进OCS-FCM算法求解水质缺失数据。具体包括以下五个步骤：