[发明专利]一种基于建筑结构安全监测的大数据清洗方法

说明书

本发明涉及大数据清洗技术，提供一种基于建筑结构安全监测的大数据清洗方法，其特征在于，包括以下步骤：(1)获取建筑上的传感器类型、传感器监测数据、传感器温度数据以及传感器布置图；(2)计算数据缺失率，并判断数据缺失率是否大于20％；若数据缺失率小于等于20％，对待处理传感器监测数据进行缺失值补全；若数据缺失率大于20％，则进入步骤(3)；(3)判定异常漂移数据，对异常漂移数据进行清洗；(4)判定数据跳点，对突变数据进行清洗。本发明的操作流程较为简便，计算量小，便于编程实现，可实现建筑工程安全监测数据的自动化处理。

技术领域

本发明涉及大数据清洗技术，特别涉及一种大数据清洗方法。

背景技术

历年来，工程结构安全始终是保障国家人民财产安全的重要因素，而工程安全监测是检验工程质量安全的重要手段，近年来，随着建筑行业数字化改革的推进，数字化自动监测逐渐应用于工程结构安全监测，而采集频率密集的自动化监测会产生大量数据，而由于传感仪器稳定性、断电漏电、突发故障、施工干扰等非正常因素，不可避免地会产生异常数据。异常数据的清洗往往占据大数据处理的很大一部分时间，需要采用一定方法进行自动处理。中国专利文献CN103198147A公开了一种自动化监测异常数据的判别及处理方法，将异常数据分为偶然数据、突变数据和缓变数据进行判别和处理，但上述专利并未区分动态数据和静态数据，理论上也无法通过单个传感器采集到的数据判定异常数据是由非正常施工因素还是正常施工因素造成的。中国专利文献CN11391982A公开了一种监控数据的异常监测方法、装置及设备，通过二次处理确定原始时间序列数据中的异常点，但上述专利在第二次处理中需要设定目标阈值，人为干涉因素影响较大。中国专利文献CN113297744A公开了一种适用于误差监测计算的充电桩数据清洗方法及充电站，主要针对充电桩信息数据进行清洗。中国专利文献CN113377750A公开了一种水文数据清洗方法及系统，针对获取的点雨量、流量和蒸发量等水文数据进行清洗。

工程结构安全监测的异常数据清洗主要集中于路桥结构。中国专利CN112700622A公开了一种基于storm的铁路地质灾害监测大数据预处理方法及系统，构造storm集群的拓扑结构，对来自各个监测点的各类型传感器数据进行数据抽取、清洗、转换和同步整合，但上述专利的数据清洗只针对铁路地质灾害监测的动态加速度和速度数据，与静态数据清洗方法有所区别。中国专利文献CN110287178A公开了一种基于数据差值的桥梁渐进式漂移数据清洗方法，通过计算原始数据之间相邻数据的差值和Super Smoother算法计算的趋势数据，采用区间估计理论对漂移数据进行清洗，但上述专利只针对渐进式漂移数据，并且未区分噪声较大的动态数据和噪声较小的静态数据。上述两项专利均未针对缺失数据进行处理。因此，针对上述技术不足，迫切需要一种针对建筑结构安全监测异常数据的系统处理方法。

发明内容

鉴于以上现有技术的缺点，本发明的目的在于提供一种基于建筑结构安全监测的大数据清洗方法，用于解决现有技术中存在的技术问题。

为了达到目的，本发明提供以下技术方案：

本发明提供一种基于建筑结构安全监测的大数据清洗方法，其特征在于，包括以下步骤：

(1)获取建筑上的传感器类型、传感器监测数据、传感器温度数据以及传感器布置图；

(2)计算数据缺失率，并判断数据缺失率是否大于20％；若数据缺失率小于等于20％，对待处理传感器监测数据进行缺失值补全；若数据缺失率大于20％，则进入步骤(3)；

(3)判定异常漂移数据，对异常漂移数据进行清洗；

(4)判定数据跳点，对突变数据进行清洗。

进一步的，所述传感器布置图为传感器数据编号对应的工程位置，所示传感器布置图用于传感器的相关性分析。

进一步的，所述传感器监测数据是所述传感器类型所对应的监测数据。