[发明专利]基于深度学习全景拼接的港口大型设备检测与识别方法

权利要求书

1.一种基于深度学习全景拼接的港口大型设备检测与识别方法，其特征在于：采用大型设备的全景拼接图像网络和检测识别网络进行检测和识别；

所述大型设备的全景拼接图像网络和检测识别网络的构建过程包括以下步骤：

步骤S1：获取N个路杆摄像头在不同角度下对大型设备拍摄到的局部图像I₁,I₂,…,I_N作为图像集；

步骤S2：对所述图像集进行整理分类制作数据集，并创建真实的全景拼接图像P以及相应的图像掩膜M；

步骤S3：构建用于生成大型设备全景拼接图像的深度神经网络；

步骤S4：将原始的局部图像I₁,I₂,…,I_N的堆叠矩阵输入到步骤S3构造的网络中进行训练并预测，得到全景拼接图像P'；

步骤S5：提取全景拼接图像P'中目标的位置及类别信息，进行特征编码；

步骤S6：构建用于检测识别大型设备的深度神经网络；

步骤S7：将拼接后的全景图像P'与标签一并输入至步骤S6构造的网络中进行训练并保存训练模型；

将待预测图像输入至训练后的模型进行预测，得到大型设备相应的检测与识别结果；

步骤S3具体包括以下步骤：

步骤S31：预测图像之间的几何变换关系并生成全景拼接图像掩膜M'，以真实的全景拼接图像掩膜M为优化目标，利用卷积神经网络构造编码器-解码器；

步骤S32：构造损失函数，由真实与预测的图像掩膜间的像素差值平方和来确定，经生成器训练优化后，得到预测的全景拼接图像掩膜M'；

步骤S33：生成预测的全景拼接图像,构建形如U-Net结构的神经网络编码器-解码器；

步骤S34：从像素和语义层面构造全景图像拼接的损失函数用于训练网络，并将局部图像I₁,I₂,…,I_N与预测图像掩膜M'的堆叠矩阵输入步骤S33构造的网络中，得到预测的大型设备全景拼接图像P'。

2.根据权利要求1所述的基于深度学习全景拼接的港口大型设备检测与识别方法，其特征在于：步骤S1所使用的图像集来源于多个路杆摄像头对港口园区内大型设备不同角度采集的局部图像。

3.根据权利要求1所述的基于深度学习全景拼接的港口大型设备检测与识别方法，其特征在于：步骤S2通过联合N个不同角度的图像创建真实的全景拼接图像P以及相应的图像掩膜M，经处理后的数据集用于训练生成大型设备全景拼接图像的深度神经网络。