[发明专利]一种面向空气质量数据的可信度分析方法

说明书

本发明公开了一种面向空气质量数据的可信度分析方法，通过深度学习的方式来筛选出空气质量数据集中可信的数据。首先对采集的空气质量原始数据进行过采样处理以及数据标准化处理，然后将处理后的数据输入到双向长短时记忆网络中提取数据序列间的特征，再利用全连接层对特征进行整合，最后通过Softmax分类器对数据的可信度进行分类。实验结果表明，本方法能对空气质量数据可信度作出准确的分析，筛选出不可信数据，保证了空气质量监测数据的有效性、连续性和准确性，并为数据可信度分析方法的进一步研究提供了解决思路。

技术领域

本发明是一种基于深度学习的空气质量数据可信度分析方法，主要用于空气质量状况的监测和预测等相关工作中，属于大气数据挖掘和分析领域。

背景技术

随着社会经济的发展和城市化进程的加快，人民的生活水平不断提高，但能源消耗和污染物的不断排放加剧了空气污染问题，日益严重的空气质量问题给人们的生活和健康造成了极坏的影响。近几年来，国家加大了对空气污染问题的治理力度，实时、准确、快速地对空气质量进行有效监测与预测，提前辨识空气质量异常变化态势，对查找与分析空气污染源、制定大气环境保护方略具有重要的指导意义。随着大数据的兴起及空气质量和重点污染源实时在线监测系统的建立，空气质量监测数据日益增加，但在自然环境中，电场干扰、磁场干扰和数据传送过程中受到非法攻击等因素会导致空气质量传感器发送非法数据。因此，在这些空气质量监测数据集合中存在大量不可信的数据，这些不可信数据的存在严重降低了空气监测数据的质量，同时会引起空气质量监测和预测结果的不准确甚至错误。因此，空气质量数据可信度分析是空气质量监测和预测前至关重要的一步。

目前主要通过人工审核的方式对监测数据进行检验，但由于现在监测数据量越来越大，这种方式已经越来越不能满足实际的工作需要，所以需要建立一套较为完整的空气质量监测数据可信度分析度量方法来应对工作量巨大的监测数据审核工作。因此本文提出了一种基于双向长短时记忆网络的空气质量数据可信度分析方法，对获得的空气质量数据进行可信度度量和判断，筛选出不可信的数据，提高数据的质量和可利用性，同时减轻相关人员的工作量。

发明内容

本本发明提出一种面向空气质量数据的可信度分析方法，该方法将空气质量监测数据作为双向长短时记忆网络的输入，通过神经网络的迭代和训练不断优化权重参数，最终建立数据可信度分析模型。并利用真实的空气质量监测数据对该方法进行验证，结果表明本方法能够对空气质量数据的可信度作出准确的判断，并筛选出不可信数据，提高数据的质量和可利用性。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

步骤1：对空气质量数据集进行过采样处理，解决数据集中类别不平衡的问题。

步骤2：对空气质量监测数据进行标准化处理，消除不同维度数据之间的量级差别。

步骤3：搭建空气质量数据可信度分析神经网络模型，包括输入层、双向长短时记忆网络层和输出层。

步骤4：将空气质量数据集划分为训练集和测试集。

步骤5：初始化网络模型的权重和偏置，利用训练集的数据完成对神经网络模型的迭代训练。

步骤6：使用测试集的数据对训练完成的神经网络模型进行测试。

步骤7：利用相关评价指标对神经网络模型进行评估。

本发明的技术原理是将空气质量数据的可信度分析问题转化为有监督的分类问题并根据分类结果筛选出虚假信息和错误数据。由于良好的空气质量传感器发送的数据都是具有一定规律的，增大和减小都是一个缓慢渐变的过程，短时间内不可能陡然升高或者降低，如果某条数据突然跃迁，则可以判别为非法数据。