[发明专利]一种利用3D卷积神经网络分析渔船作业状态的方法

说明书

本发明涉及一种利用3D卷积神经网络分析渔船作业状态的方法，包括以下步骤：通过摄像设备采集渔船上多个不同方位的视频数据；将获取的多个视频数据放入训练好的由3D卷积神经网络构成的识别模型中进行识别，得到多个渔船的作业状态；将不同方位相同帧段的视频数据识别出多个渔船的作业状态进行分析对比，当出现不同方位相同帧段的视频数据识别出的渔船的作业状态不一致时，按照占比进行决策；当识别出的多个渔船的作业状态一致时，直接输出结果。本发明能够准确、实时地对捕捞渔船的作业状态进行识别。

技术领域

本发明涉及渔业捕捞监控技术中的电子监控领域，特别是涉及一种利用3D卷积神经网络分析渔船作业状态的方法。

背景技术

中国毛虾是一种未被充分利用的，生长迅速、生命周期短、繁殖能力强、世代更新快、游泳能力弱的小型虾类。中国沿海均有分布，其主要产地主要包括江苏、辽宁、山东等。农业农村部渔业渔政管理局等相关单位发布的《中国渔业统计年鉴》显示，中国毛虾的捕捞产量自2006年达到72万吨的峰值后，出现了急剧下降现象。2019年，中国毛虾捕捞产量为38.9万吨，相较于2018年42.5万吨的捕捞产量再次出现了高达8.46％的负增长。为科学捕捞毛虾、保护海洋渔业资源，我国于2020年在江苏开始全国首个毛虾专项(特许)捕捞试点。

近年来，随着大数据的快速发展，各类优秀的神经网络深度学习算法先后涌出，其在VMS数据分析阶段的优势也逐渐显现。相较于人工船员，VMS系统在记录数据的完整性和客观性上具备先天优势。为了防止非法捕捞、减少船舶碰撞、智能化船舶管理，相关学者在船舶状态监测领域做出了重大贡献。Gao等提出一种基于特征融合(Feature Fusion)的VMS渔船作业类型识别算法，提高了渔船作业类型识别的准确度。S Storm等提出了船舶地理空间轨迹分析可视化系统VA-TRAC，其完成了渔船作业轨迹的监测、识别和验证，旨在解决规范捕捞问题。Han Z等利用AIS数据分析了中西太平洋金枪鱼围网捕捞行为的空间分布。Affandi A等使用K-Means对VMS时空分布数据进行聚类，以提供相关捕捞强度位置信息，预防过度捕捞。上述研究基于AIS、VMS等船舶数据，利用聚类、数据分析等技术，记录船舶航行中的相关状态，但是未见基于船舶视频数据分析渔船行为的相关文献。

发明内容

本发明所要解决的技术问题是提供一种利用3D卷积神经网络分析渔船作业状态的方法，能够准确、实时地对捕捞渔船的作业状态进行识别。

本发明解决其技术问题所采用的技术方案是：提供一种利用3D卷积神经网络分析渔船作业状态的方法，包括以下步骤：

(1)通过摄像设备采集渔船上多个不同方位的视频数据；

(2)将获取的多个视频数据放入训练好的由3D卷积神经网络构成的识别模型中进行识别，得到多个渔船的作业状态；

(3)将不同方位相同帧段的视频数据识别出多个渔船的作业状态进行分析对比，当出现不同方位相同帧段的视频数据识别出的渔船的作业状态不一致时，按照占比进行决策；当识别出的多个渔船的作业状态一致时，直接输出结果。

所述步骤(1)中共设置四个摄像设备，包括第一摄像头、第二摄像头、第三摄像头和第四摄像头，所述第一摄像头和第二摄像头分别安装在驾驶舱左右两侧，朝船首方向拍摄，用于采集工作区的视频数据；所述第三摄像头安装在船首铁杆上，朝向船尾方向拍摄，用于采集所述第一摄像头和第二摄像头的死角区域的视频数据；所述第四摄像头安装在船尾铁杆上，朝向船尾方向拍摄，用于采集船舶安全状态的视频数据。

所述步骤(1)和步骤(2)之间还包括对所述视频数据进行预处理的步骤，在进行预处理时，先将所述视频数据的分辨率降低至所述识别模型输入的需求，然后将降低分辨率的视频数据分割为每段100帧的视频段。

所述3D卷积神经网络在2D神经网络的基础上加入时间维度，并使用同一个卷积核进行九次卷积实现降采样，每次卷积操作后使用Relu激活函数激活及批量标准化处理加快速率，最后经过全连接层，连接到船舶的多种不同状态。