[发明专利]一种基于集成学习的大坝监测数据异常检测方法

说明书

本发明公开了一种基于集成学习的大坝监测数据异常检测方法，步骤为：异常检测模型池构造阶段：利用随机子采样构造不同的监测数据子集，并根据超参数多样性构造不同的模型组，训练得到异常检测模型池。伪真值标签构造阶段：基于异常检测模型池,采用集成一致性方法构造测点的伪真值标签。最优模型组合选择阶段：基于邻域相关性选择目标测点相关邻域，根据测点邻域的异常得分矩阵与从测点的伪真值标签间的皮尔逊相关性，选择最优模型组合。结果判断阶段：计算测点在最优模型组合上的得分，判断测点异常情况。本发明通过对大坝监测数据进行特征学习，高效精确计算处理并得出检测结果，为大坝安全分析提供决策依据。

技术领域

本发明属于大坝监测领域，特别涉及一种基于集成学习的大坝监测数据异常检测方法。

背景技术

大坝监测数据异常检测对于水库能否正常运行至关重要，水库大坝安全监测要做到定时定点、规律系统，以观测数据的分析结果为主要依据，为水库安全运行提供服务。大坝异常数据检测是通过仪器观测和巡视检查对水利水电工程主体结构、地基基础、两岸边坡、相关设施以及周围环境所作的测量及观察；“检测”既包括对建筑物固定测点按一定频次进行的仪器观测，也包括对建筑物外表及内部大范围对象的定期或不定期的直观检查和仪器探查。通过观测仪器和设备，以及时取得反映大坝和基岩性态变化以及环境对大坝作用的各种异常数据。其目的是分析估计大坝的安全程度，以便及时采取措施，设法保证大坝安全运行。

基于学习的方法逐渐应用于异常检测，该类方法构造深度神经网络捕获数据关系。许多神经网络方法如长短记忆网络LSTM、循环神经网络RNN、自编码器Auto-Encoder等，能有效捕获大坝监测数据时序关系，提高时序数据异常检测性能。在处理有标签的数据时，基于学习的方法表现出优越的性能，但是在异常检测这类无监督问题时表现受限。基于学习的方法通常需要大量的大坝监测数据样本，通过不断的迭代学习计算结果，在处理高维数据时计算消耗巨大。

集成学习能有效提升大坝监测数据异常检测性能，但是现有方法存在以下问题：(1)大多数方法不经过筛选，组合所有的基础检测模型。这类方法会导致集成方法准确性降低，因为对于不同的数据集，基础检测单元的性能也不同，不经选择直接组合会导致表现较差的基础模型降低整体性能；(2)在基础检测模型选择和组合中，通常会忽略大坝监测数据间的局部相关性，导致输出结果不是最优解；(3)在基础检测模型选择中，通常会考虑多样性和一致性，没有对二者进行平衡。

发明内容

发明目的：为了克服现有技术中存在的大坝安全监测系统监测点多，数据量庞杂，人工判别异常数据点难度高且效率低问题，本发明提供一种基于集成学习的大坝监测数据异常检测方法，对海量高维数据进行特征学习，高效精确计算处理并得出检测结果。

技术方案：为实现上述目的，本发明提供一种基于集成学习的大坝监测数据异常检测方法，包括如下步骤：

(1)大坝监测点的集成单元的构造：利用随机子采样构造不同的监测数据子集，并根据超参数多样性构造不同的模型组，训练得到异常检测模型池；

(2)伪真值标签的构造：基于异常检测模型池,采用集成一致性方法构造测点的伪真值标签；

(3)测点局部邻域空间生成：基于邻域相关性选择目标测点相关邻域，根据测点邻域的异常得分矩阵与从测点的伪真值标签间的皮尔逊相关性，选择最优模型组合；

(4)测点异常情况判断：计算测点在最优模型组合上的得分，判断测点异常情况。

进一步的，所述步骤(1)中集成单元构造的具体步骤如下：

(1.1)划分测点：在T₀～T₁时间段内，将大坝监测点划分为训练测点和测试测点；训练测点表示有n个训练测点，每个测点有温度、水位，渗流量等d个特征，构成d维特征空间；测试测点表示有m个测试测点；