[发明专利]一种环境数据修复/填充方法及系统

说明书

本发明涉及一种环境数据修复/填充方法及系统。该系统包括：基于ORIGIN软件，绘制不同属性的室内外环境数据的箱形图；根据箱形图确定异常数据组；采用忽略元组法，将异常数据组中的连续异常或缺失的多属性数据删除，得到处理后的异常数据组；采用距离加权的KNN算法，对连续异常或缺失的单一属性数据进行修复或填充；对处理后的异常数据组进行分段；采用改进的指数加权滑动平均模型，对分段后的异常数据组中的非连续异常或缺失的数据进行修复或填充；整合修复或填充好的数据。本发明能够系统性、分门别类地解决大数据平台中室内、外环境监测数据中不同情况的数据缺失、数据异常等问题，对提高数据质量、保障数据挖掘质量及效率具有重要意义。

技术领域

本发明涉及数据修复领域，特别是涉及一种环境数据修复/填充方法及系统。

背景技术

在物联网信息技术革命的大环境下，智能家居及建筑能耗管控系统结合了先进的传感测量技术、信息技术、通讯技术及计算机技术，旨在更好地提升人居环境、引导建筑节能事业的落地。因此，实时监控建筑室内外环境参数成为大数据建筑能耗管控、智能家居场景调控、能耗模拟仿真的重要数据基础。现阶段，由于数据采集终端故障、断电断网、中央服务器崩溃数据无法上传等原因，数据存在着不容忽视的缺失现象；同时，由于传感器漂移或跳变、室内人员随机活动、室外异常状况等原因，也存在数据异常的问题。这些问题都将影响着后续的数据挖掘质量和学习效率。为保证充足的数据量、较高的数据质量，为数据挖掘的高质量和高效率奠定基础，异常值修复和缺失值填补的过程是机器学习的重要环节，同时也对建筑能耗模拟仿真计算的精度有着重要影响。

现阶段，较为常用的数据缺失填充方法有均值填充法、中位数填充法、众数填充法、回归方法、插值方法等。其中，均值填充法、中位数填充法、众数填充法填充的填充结果单一，无法体现出数据的变化趋势与规律，特别是对于室内外逐时变化的环境参数，其填充准确率较差。而对于多元线性回归模型，缺少灵活性，模型预测效果通常不够理想；对于预测准确率较高的高斯回归方法，其模型又较为复杂。插值法中较为常用的数据填补方法为拉格朗日插值法和三次样条法，其原理是根据参数x的变化规律来拟合y，是衡量两变量关系的过程，而室内外环境参数间多为多个因素间互相影响，因此插值法并不适用。因此，现阶段在各领域的数据处理方法仍处于通用状态，适用性较差，缺少有针对性的气象参数处理的方法。

另一方面，现阶段用于室内外环境数据异常修复、缺失填充方法的系统性也较差，整个修复、填充过程大多采用同一种方法进行处理，而缺少对不同情况问题数据的整合分析、缺少对不同数据问题分门别类处理的系统性研究。同时，现有研究中，对数据异常修复、缺失填充的重视程度不够，多数研究基于单一方法对异常、缺失数据进行简单处理，未对填充方法的有效性、适用性以及填充结果的准确性展开验证，无法证明方法的有效性、适用性。

发明内容

本发明的目的是提供一种环境数据修复/填充方法及系统，可系统性、分门别类地解决大数据平台中室内、外环境监测数据中不同情况的数据缺失、数据异常等问题，对提高数据质量、保障数据挖掘质量及效率具有重要意义。

为实现上述目的，本发明提供了如下方案：

一种环境数据修复/填充方法，所述方法包括：

获取不同时刻的室内外环境数据；所述室内外环境数据包括多个属性的环境数据；

基于ORIGIN软件，绘制不同属性的室内外环境数据的箱形图；

根据所述箱形图确定异常数据组；所述异常数据组表示不同时刻的室内外环境数据中的异常数据；

采用忽略元组法，将所述异常数据组中的连续异常或缺失的多属性数据删除，得到处理后的异常数据组；所述连续异常或缺失的多属性数据为连续异常或缺失时间超过第一预设时间的多于1个属性的数据；