[发明专利]基于数据挖掘的场地污染特征因子识别和监测指标优化方法

说明书

本发明公开了一种基于数据挖掘的场地污染特征因子识别和监测指标优化方法，首先，对预先获取的污染场地的地下水污染数据进行预处理操作；其次，构建自组织映射神经网络模型，完成模型训练后开展数据降维、相关性解析、可视化分析等一系列数据挖掘任务；然后，对自组织映射分类结果进一步采用K均值算法进行无监督聚类学习，实现特征因子的识别；最后，对污染指标采取先分类后分级的策略，优化指标的后期监测过程。本发明可为污染场地数据监测、数据分析和决策管理提供技术支持，通过对污染场地的数据挖掘，识别场地污染特征因子，同时进行监测指标的优化，最终达到降低场地监测成本的目的。

技术领域

本发明属地下水环境科学技术领域，具体涉及一种基于数据挖掘的场地污染特征因子识别和监测指标优化方法。

背景技术

由于我国产业结构调整，大批企业关停或搬迁，遗留下大量的工业污染场地，这些工业污染场地往往具有污染程度重、污染物组成复杂、土壤和地下水均受到污染等特点，已对居民食品安全、饮用水安全、生态环境、人居环境健康、经济社会可持续发展造成了严重威胁与挑战。因此，亟待开展污染场地的调查评估、风险管控和修复。

在污染场地前期调查评估中，将获得大量有关土壤和地下水的污染数据，这些数据样本数量大，监测项目多，数据结构复杂，其中隐含着大量的特征信息、关系信息以及分类信息，例如污染物在单一环境介质中的相关性以及污染物在地下水和土壤两种介质中的相关性等。

另一方面，受人力、物力以及财力的限制，无法对污染场地取大量样品并对所有指标逐一测试分析，如何在不影响污染场地客观评价的条件下，尽可能减少需监测的污染指标数目，降低场地监测费用，也是一个值得研究的问题。

目前，众多多变量方法已被应用于污染场地数据分析，如主成分分析(PCA)、因子分析(FA)、判别分析(DA)，聚类(CA)分析等，以此减小或消除数据中的冗余。然而由于污染数据本身的复杂性，当污染指标存在非线性相关、数据存在缺失时，上述传统数据分析方法存在较大局限性。

自组织映射神经网络(self-organizing map,SOM)是一种无监督人工神经网络，可处理高维数据和非线性数据，同时保留原始数据的拓扑结构。目前在水资源和环境领域主要用于各种水文过程的预测、地表和地下水水质评估、地表水和地下水的时空相关关系、生态群落的研究等。大量应用研究表明，SOM在处理高维非均质性和复杂异构性数据时具有显著优势，尤能解决传统数据方法需要线性完备数据的问题。

目前，污染场地数据分析常用传统多变量数据分析方法，如主成分分析(PCA)、因子分析(FA)、判别分析(DA)，聚类(CA)分析等，以此减小或消除数据中的冗余。但随着数据收集能力的提高，针对污染场地的数据不仅量大，而且数据结构复杂，其中隐藏着大量的特征信息、关系信息以及分类信息，同时污染数据不仅具有随机性，而且表现出强烈的非线性，很难直接利用传统的数据分析方法对这些多维数据进行分析，也很难直接从多维数据集中了解数据结构、获取有用信息。另外，目前还未有技术方法针对场地污染物指标监测进行优化，以此达到降低场地监测成本的目的。

发明内容

发明目的：本发明提供一种基于数据挖掘的场地污染特征因子识别和监测指标优化方法，通过对污染场地的数据挖掘，识别场地污染特征因子，同时进行监测指标的优化，以达到降低场地监测成本的目的。

技术方案：本发明所述的一种基于数据挖掘的场地污染特征因子识别和监测指标优化方法，包括以下步骤：

(1)对预先获取的污染场地的地下水污染数据进行预处理；

(2)构建自组织映射神经网络模型，完成模型训练后开展数据降维、相关性解析、可视化分析数据挖掘任务；

(3)对自组织映射分类结果进一步采用K均值算法进行无监督聚类学习，实现特征因子的识别；

(4)对污染指标采取先分类后分级的策略，优化指标的后期监测过程。