[发明专利]一种基于建筑结构安全监测的大数据清洗方法

权利要求书

1.一种基于建筑结构安全监测的大数据清洗方法，其特征在于，包括以下步骤：

(1)获取建筑上的传感器类型、传感器监测数据、传感器温度数据以及传感器布置图；

(2)计算数据缺失率，并判断数据缺失率是否大于20％；

若数据缺失率小于等于20％，对待处理传感器监测数据进行缺失值补全；

若数据缺失率大于20％，则进入步骤(3)；

(3)判定异常漂移数据，对异常漂移数据进行清洗；

(4)判定数据跳点，对突变数据进行清洗。

2.根据权利要求1所述的一种基于建筑结构安全监测的大数据清洗方法，其特征在于，所述传感器布置图为传感器数据编号对应的工程位置。

3.根据权利要求1所述的一种基于建筑结构安全监测的大数据清洗方法，其特征在于，所述传感器监测数据是所述传感器类型所对应的监测数据。

4.根据权利要求1所述的一种基于建筑结构安全监测的大数据清洗方法，其特征在于，所述传感器温度数据为传感器内置温度采集器所测量温度数据。

5.根据权利要求1所述的一种基于建筑结构安全监测的大数据清洗方法，其特征在于，所述传感器类型包括应变计、应力计、裂缝计、位移计、静力水准仪、固定式测斜仪、水位计、土压力计、孔隙水压力计、风速计或倾角仪。

6.根据权利要求1所述的一种基于建筑结构安全监测的大数据清洗方法，其特征在于，所述数据缺失率的计算公式为：

其中，NaN是数据缺失值；

Num(NaN)是数据缺失值为NaN的个数；

n是待处理传感器监测数据的个数。

7.根据权利要求1所述的一种基于建筑结构安全监测的大数据清洗方法，其特征在于，步骤(2)中待处理传感器监测数据进行缺失值补全的步骤为：

(2.1)记录待处理传感器监测数据集{a_i}(i＝1，2，…，n)；

(2.2)将待处理传感器监测数据集{a_i}(i＝1，2，…，n)进行分割，其中所有数据缺失值NaN作为测试集y{test_y}，并记录每个数据缺失值NaN的缺失位置，除数据缺失值NaN的其余值作为训练集y{train_y}；

(2.3)遍历工程项目中其余同类型传感器监测数据，并计算与待处理传感器监测数据集{a_i}(i＝1，2，…，n)的Person相关系数，找到与Person相关系数最大的传感器监测数据集记为{a’_j}(j＝1，2，…，m)，m是与待处理传感器监测数据集相关系数最大传感器监测数据的个数；

(2.4)以待处理传感器监测数据个数n为基准，对相关系数最大的传感器监测数据集{a’_j}(j＝1，2，…，m)进行数据增减：

若mn，则在相关系数最大的传感器监测数据集{a’_j}(j＝1，2，…，m)的数据序列末端增加(n-m)个0；

若m≥n，则删除相关系数最大的传感器监测数据集{a’_j}(j＝1，2，…，m)的数据序列末端(m-n)个元素；

相关系数最大的传感器监测数据集{a’_j}(j＝1，2，…，m)进行数据增减后的数据集记为{a’_i}(i＝1，2，…，n)；

(2.5)找到待处理传感器监测数据集{a_i}中数据缺失值位置，将数据增减后的传感器监测数据集{a’_i}中相应位置处的数据值作为测试集x{test_x}，传感器监测数据集{a’_i}其余位置的数据值作为训练集x{train_x}；

(2.6)采用K近邻算法，根据训练集x{train_x}和训练集y{train_y}训练算法分类器；

(2.7)利用训练好的算法分类器，根据测试集x{test_x}预测目标集{pred-y}；

(2.8)将目标集{pred-y}中的数据替代测试集y{test_y}中的数据，并根据数据缺失值位置信息将待处理传感器监测数据集{a_i}中数据缺失值用目标集{pred-y}中相应位置的数据补全，数据补全后的传感器监测数据集记为{y_i}(i＝1，2，…，n)。