[发明专利]基于深度学习全景拼接的港口大型设备检测与识别方法

说明书

本发明提出一种基于深度全景拼接的港口大型设备检测与识别方法，通过获取港口园区内多个路杆摄像头对同一设备在不同角度下拍摄的局部图像；将多个局部图像堆叠输入至深度全景拼接网络生成全景图像数据集；对新数据集的类别及位置信息进行特征编码并输入至目标检测与识别训练网络；将训练后的目标检测与识别模型用于港口园区内大型设备的预测。本发明有效的利用了局部和全局图像中的目标信息，能够实现对大型设备的精准预测，从而提升港口园区的作业效率。

技术领域

本发明涉及计算机视觉、港口管理技术领域，尤其涉及一种基于深度全景拼接的港口大型设备检测与识别方法。

背景技术

港口是重要的交通运输基础设施，是实现外向型经济的窗口。当前，港口规模的大型化成为必然趋势。随着“智慧港口”这一概念的出现，港口智能化成为港口发展的大方向，智能监管、智能服务、自动装卸成为其主要的呈现形式，并为现代化物流业提供高安全、高效率和高品质的服务。

港口运输及装卸设备的智能化管理实现了对港口运输要素的全面感知，同时促进了新一代信息技术与港口运输核心业务的深度融合。随着港口规模的不断扩大，一般通过引进超大型运输及装卸设备来提高港口的作业效率。但在普通的单一拍摄视角下难以获取龙门吊等这类大型设备的全景图像，有关的智能设备无法对其进行有效的检测与识别，从而影响新型智慧港口的建设。

目前，深度学习方法在计算机视觉领域中得到广泛应用，并在图像拼接和目标检测领域上取得了重大的进展。但关于大型设备检测与识别的研究成果仍然较少，尤其缺乏利用多个局部图像信息来获取目标全局信息的这项研究。

发明内容

为了克服现有技术当中存在的缺陷和不足，本发明提出了一种新型的基于深度全景拼接的港口大型设备检测与识别方法。提出了一种新颖的基于深度学习方法，可以将多个路杆摄像头在不同角度下对同一设备获取的局部图像拼接为全景图像构建新的数据集，再将该数据集送入基于深度学习的检测器网络进行训练，从而实现港口园区内大型设备的精准检测与识别，并可将该方法应用于其它场景下的超大尺度物体。

其通过获取港口园区内多个路杆摄像头对同一设备在不同角度下拍摄的局部图像；将多个局部图像堆叠输入至深度全景拼接网络生成全景图像数据集；对新数据集的类别及位置信息进行特征编码并输入至目标检测与识别训练网络；将训练后的目标检测与识别模型用于港口园区内大型设备的预测。本发明有效的利用了局部和全局图像中的目标信息，能够实现对大型设备的精准预测，从而提升港口园区的作业效率。

其具体采用以下技术方案：

一种基于深度全景拼接的港口大型设备检测与识别方法，其特征在于：采用大型设备的全景拼接图像生成网络和检测识别网络进行检测和识别；

所述大型设备的全景拼接图像生成网络和检测识别网络的构建过程包括以下步骤：

步骤S1：获取N个路杆摄像头在不同角度下对大型设备拍摄到的局部图像I₁,I₂,…,I_N作为图像集；

步骤S2：对所述图像集进行整理分类制作数据集，并创建真实的全景拼接图像P以及相应的图像掩膜M；

步骤S3：构建用于生成大型设备全景拼接图像的深度神经网络；

步骤S4：将原始的局部图像I₁,I₂,…,I_N的堆叠矩阵输入到步骤S3构造的网络中进行训练并预测，得到全景拼接图像P'；

步骤S5：提取全景拼接图像P'中目标的位置及类别信息，进行特征编码；

步骤S6：构建用于检测识别大型设备的深度神经网络；

步骤S7：将拼接后的全景图像P'与标签一并输入至S6构造的网络中进行训练并保存训练模型；