[发明专利]标准实验室数字式温湿度计超差数据的清洗方法

说明书

本申请公开了标准实验室数字式湿温度计超差数据的清洗方法，利用聚类分析法对所有数据源的多个数据进行聚类，得到温度数据集和湿度数据集；利用趋势分析法对温度数据集中的温度数据和湿度数据集中的湿度数据进行线性分析，得到预异常温度数据和预异常湿度数据；利用箱形图算法识别温度数据集和所述湿度数据集，得到异常数据，并将异常数据组成异常数据集；当预异常温度数据或预异常湿度数据为异常数据集内的数据时，清洗预异常温度数据或预异常湿度数据。本申请中，通过两种方法识别异常数据，两种方法识别出的数据均异常时，认定数据为污点数据，可以减少人员损耗，节约大量的人力，且由于测试方法具有客观性，提高识别污点数据的准确性。

技术领域

本申请涉及数据处理技术领域，尤其涉及标准实验室数字式湿温度计超差数据的清洗方法。

背景技术

随着各类高精度计量传感器在计量标准设备中的使用，电力系统大量的计量标准设备对实验室的环境温湿度要求越来越高，为了便于对实验室的温湿度进行准确有效的控制和采集，目前采用的方法为装设大量数字式温湿度计。利用该类表计的温湿度传感器对整个实验室的温湿度进行监控，并通过这些数据控制实验室空调，以确保环境符合试验要求。如何确保这些数据中的超差量(污点数据)不影响整个实验室温湿度控制，成为实验室温湿度控制的难点。根据“垃圾进，垃圾出”原理，存在超差的数据会导致空调的控制产生误差，进而影响环境温湿度。

因此，需要对实验室内大量的数字式温湿度计数据进行分析，清洗超差数据，即污点数据。在传统的污点数据清洗工作中，主要还是依赖人工针对不同的数据库进行处理，或者使用一些简单的数据抽取、传输、载入的应用程序或工具。这样的方式不仅耗费大量的精力，而且由于不可控因素太多，温湿度数据清洗的错误率也会增大。

发明内容

本申请提供了标准实验室数字式湿温度计超差数据的清洗方法，以解决传统的污点数据清洗方法耗时较多、识别污点数据的准确率低的技术问题。

为了解决上述问题，本申请提供以下的技术方案：

标准实验室数字式湿温度计超差数据的清洗方法，包括：利用聚类分析法对所有数据源的多个数据进行聚类，得到温度数据集和湿度数据集；利用趋势分析法对温度数据集中的温度数据和湿度数据集中的湿度数据进行线性分析，得到预异常温度数据和预异常湿度数据，其中，预异常温度数据为偏离温度线性曲线上的温度数据，预异常湿度数据为偏离湿度线性曲线上的湿度数据；利用箱形图算法识别温度数据集和所述湿度数据集，得到异常数据，并将异常数据组成异常数据集，其中，异常数据包括异常温度数据和异常湿度数据；当预异常温度数据或预异常湿度数据为异常数据集内的数据时，清洗预异常温度数据或预异常湿度数据。

可选地，利用箱形图算法识别温度数据集和湿度数据集，得到异常数据，包括：利用箱形图算法分析温度数据集的温度数据和湿度数据集的湿度数据，得到初步异常数据；判断初步异常数据是否超过超差阈值；若是，则初步异常数据为异常数据；若否，则初步异常数据非异常数据。

可选地，利用箱形图算法分析温度数据集的温度数据和湿度数据集的湿度数据，得到初步异常数据，包括：计算温度数据集的温度数据和湿度数据集的湿度数据的中位数、25％分位数、75％分位数、上边界和下边界；当温度数据或湿度数据位于75％分位数以上或者25％分位数以下，则温度数据或湿度数据均为初步异常数据。

可选地，超差阈值为上边界或者下边界。

可选地，上边界的计算公式如下：

UpperLimit＝Q₃+kIQR   (1)

其中，Q₃为上四分位数，即75％分位数；k表示经验系数；IQR表示上下四分位差。

可选地，下边界的计算公式如下：

LowerLimit＝Q₁－kIQR   (2)