[发明专利]基于深度学习的海浪影响下视频图像船只检测方法及系统

说明书

本发明提供一种基于深度学习的海浪影响下视频图像船只检测方法及系统，对视频图像数据进行标记，包括对船只数据和海浪数据的标记；提取感兴趣区域ROI，得到图像中的船只和易与船只混淆的海浪目标的位置信息；对感兴趣区域ROI两两进行排列组合，构建的双分支卷积神经网络结构包括一个输入层、两个分支的多个隐含层和一个输出层；以成对的相同类别ROI或者不同类别ROI作为网络输入，以两幅图像的相似性度量结果作为目标输出，通过双分支卷积神经网络结构学习成对图像的特征，调整网络参数，直至得到训练好的深度学习网络；对于有风条件下岸边船只监控系统中的视频帧图像，利用训练得到的深度学习网络区分海浪和船只图像以实现海浪影响下的船只检测。

技术领域

本发明属于目标检测领域，具体来讲，涉及一种基于深度学习的海浪影响下视频图像船只检测的方法。

背景技术

船只检测作为目标检测的一部分，一直是计算机视觉和模式识别领域的热门话题，在海洋安全、海上监测和管理等众多应用中，船只检测可为其提供决策信息。

传统的目标检测通常是基于机器学习的，通过人工的特征设计、特征提取、将提取的特征输入某个分类器从而实现目标检测任务。随着深度学习的发展，目标检测进入了一个新的阶段。与传统的人工设计特征不同，卷积神经网络(CNN)可以自动提取更具代表性的特征。由于不需要人工特征设计，良好的特征表达能力和出色的检测精度，基于深度学习的目标检测方法展示出更大的优势，成为当前目标检测方法的主流。目前基于深度学习的目标检测方法可分为两类，即基于区域建议的目标检测和基于端到端学习的目标检测。其中基于区域建议的目标检测是预先针对图像中的目标对象的位置提出候选区域的方法，主流方法包括R-CNN、Fast R-CNN和Faster R-CNN等。而基于端到端学习的目标检测方法不需要预先提取候选区域，其代表性方法是YOLO和SSD。

由于海上作业风险高，利用岸上的监控视频进行船只监控和风险预测是十分有必要的。然而目前电子围网业务中对船只检测的误报率较高，其中重要的原因就是受到海浪的影响。由于台风等极端天气会引起高海浪，从不同视角获得的图像数据，呈现出运动特征明显的变化信息，有些会同船只特征相近，所以经常会被误检测为船只，这一误报为监管部门带来一些人力物力的损失，因此，提高海浪影响下船只检测精度成为一项亟待解决的问题。

目前有效的减小船只检测中海浪影响的文献是：Robust real-time shipdetection and tracking for visual surveillance of cage aquaculture，该文献提出了一个两阶段方案来检测波纹：在第一阶段使用亮度失真和色度失真来获得波纹，亮度变化用于在第二阶段检测来自这些候选者的波纹。然而该文献所使用的方法为传统方法，图像特征选择需要人工干预，主观性较强。除此以外，该文献中缺少评价海浪影响下船只检测精度的定量指标。近些年来，在基于深度学习的目标检测研究中，较为流行的方法为YOLO，其优势在于能够达到实时检测的需求，但是在海浪影响下该方法并不适用，其检测精度偏低。

发明内容

针对船只检测中海浪影响下造成的虚警率较高这一现状，本发明的目的是提供一种新的利用深度学习网络来学习船只和海浪的相似性度量的技术方案。

本发明的技术方案为一种基于深度学习的海浪影响下视频图像船只检测方法，包括以下步骤：

步骤a，对视频图像数据进行标记，包括对船只数据和海浪数据的标记，并将标记后的数据保存；

步骤b，目标预处理，包括提取感兴趣区域ROI，去除不相关信息，得到图像中的船只和易与船只混淆的海浪目标的位置信息，将感兴趣区域ROI进行裁剪并保存；

步骤c，对保存的感兴趣区域ROI两两进行排列组合，将同类别的图像路径成对存储，将不同类别的图像路径成对存储；

步骤d，构建深度学习网络，得到一个双分支卷积神经网络结构，所述双分支卷积神经网络结构包括一个输入层、两个分支的多个隐含层和一个输出层；