[发明专利]基于KNN-SVR的海底管道漏磁数据缺失插补方法

说明书

本发明的基于KNN‑SVR的海底管道漏磁数据缺失插补方法，包括步骤1：从不含缺失点的原始漏磁数据中分割出特征数据块构成完备数据集，构建完备数据集的KD树；步骤2：对含缺失点的漏磁数据进行范化处理，获得由待插补数据块构成的待插补数据集，对待插补数据集进行补零处理；步骤3：在完备数据集中搜索待插补数据块的K近邻，获得K个完备数据块；步骤4：基于K个完备数据块，构建训练集，对训练集进行归一化处理；步骤5：利用支持向量回归机对训练集进行训练；步骤6：预测待插补数据块中的缺失特征值。本发明将基于欧式距离的KNN算法与SVR算法相结合，提高了预测准确度，减少了过拟合问题，同时对于信号噪声具有较好的鲁棒性。

技术领域

本发明涉及数据处理和人工智能领域，具体涉及一种基于KNN-SVR的海底管道漏磁数据缺失插补方法。

背景技术

通常情况下输油管道的工作条件很恶劣，易使其出现腐蚀裂纹等损伤，对其进行无损检测是必要的。漏磁检测就是一种常用的无损检测方法，该方法是通过对内检测器采集的漏磁数据进行综合分析进而判断管道的损伤情况。内检测器运行期间，难免由于传感器的非正常行为，导致部分采样数据的异常或者缺失。在分析漏磁数据之前对数据进行预处理，其中重要的一部分是对缺失数据进行插补，以保证数据的完整性，为后续的数据处理打下基础。

漏磁内检测器得到的数据量很庞大，这些数据与漏磁内检测器所在的里程位置等因素并不是简单的函数关系，各个因素之间的关系的数学模型通常是非线性的复杂模型，传统的建模方法很难实现这种数学模型，因此对缺失数据的预测和插补也是很困难的。漏磁信号的插补是尽可能地利用缺失点附近的数据信息来预测插补点的特征值。数据插补问题中采取的方法有很多种，总的来说可以分为直接线性插值法和回归拟合插值法。

直接线性插值法是一种非模型的插值方法。它的主要步骤是：确定缺失点所在位置；提取缺失点前后的完备数据；利用缺失点与完备数据点之间的位置信息以及传感器间的关联特征建立与缺失点数据的线性关系。通过上述步骤，就可以得到缺失点的预测值。但直接线性插值法具有一定局限性：对线性拟合度不高的情况预测结果不够理想；预测结果受信号噪声和信号畸变的影响较大。需要确保缺失点附近数据的完备性，否则直接线性插值得到的预测值误差较大。

回归拟合方法是一种基于模型的插值方法。它的主要步骤是：判断缺失点周围的缺失情况；提取缺失点前后合适距离的完备数据点，以及传感器间的相同位置点的数据；利用大量的完备数据通过回归拟合得出数据点与所在位置之间的非线性模型。通过上述步骤，就可以得到缺失点的预测值。回归拟合插值法相比直接线性插值法精度更高。但回归拟合插值法仍然存在以下缺点：难以保证非线性模型的准确性；预测结果容易陷入局部最优解；需要对传感器间的关联特征具有一定的提前认知。预测结果受信号噪声和信号畸变的影响较大。

发明内容

本发明实施例提供一种基于KNN-SVR的海底管道漏磁数据缺失插补方法，解决现有异常判定与填补方法计算时间长，大量过拟合，数据缺失点情况复杂等问题。

本发明提供一种基于KNN-SVR的海底管道漏磁数据缺失插补方法，包括以下步骤：

步骤1：从不含缺失点的原始漏磁数据中分割出特征数据块构成完备数据集，构建完备数据集的KD树；

步骤2：对含缺失点的漏磁数据进行范化处理，以获得由待插补数据块构成的待插补数据集，并对待插补数据集进行补零处理；

步骤3：在完备数据集中搜索待插补数据块的K近邻，获得K个完备数据块；

步骤4：基于K个完备数据块，构建训练集，对训练集进行归一化处理；

步骤5：利用支持向量回归机对训练集进行模型训练；

步骤6：预测待插补数据块中的缺失特征值，完成对缺失数据的插补。