[发明专利]基于目标检测和图像处理的抓斗卸船机碰撞预警系统

说明书

一种基于目标检测和图像处理的抓斗卸船机碰撞预警系统，包括：图像采集模块、模型训练模块、模型识别模块、图像处理模块以及碰撞预警模块，图像采集模块使用摄像头采集场景照片，用于制作训练数据集或在实际工作时用作识别预测模块的输入；模型训练模块使用采集到的图片训练目标检测模型；模型识别模块基于训练的到的模型，在给定图像输入后输出图片中检测到的目标位置和类别；图像处理模块用于提取图像中的防撞辅助线；碰撞预警模块会结合模型识别模块和图像处理模块提供的信息，给出碰撞预警。本发明使用图像处理方法提取了视频中的防撞辅助线，并在车辆或抓斗接近防撞辅助线时给出预警，进一步提高了碰撞预警的可靠性的同时，使用形态学处理、霍夫变换图像处理方法提取出了图像中的防撞辅助线。

技术领域

本发明涉及一种港口作业领域的技术，具体涉及一种基于目标检测和图像处理的抓斗卸船机碰撞预警系统。

背景技术

现有港口碰撞预警技术大多需要借助一些额外的定位设备实现，例如红外探测器，雷达探测器，通过在待检测物体上安装定位设备，根据设备获取的数据，在物体之间距离较近时给出警报。这类方法不适合本专利所述场景，一方面抓斗上不方便安装定位设备，另一方面，抓斗和车辆的相对位置是动态变化的，无法通过某个固定位置的定位设备实现距离检测。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于目标检测和图像处理的抓斗卸船机碰撞预警系统，通过多目标检测，同时检测视频中的车辆和抓斗位置，并在两者水平位置接近时，给出报警。此外，本发明使用图像处理方法提取了视频中的防撞辅助线，并在车辆或抓斗接近防撞辅助线时给出预警，进一步提高了碰撞预警的可靠性的同时，使用形态学处理、霍夫变换图像处理方法提取出了图像中的防撞辅助线。

本发明是通过以下技术方案实现的：

本发明涉及一种基于目标检测和图像处理的抓斗卸船机碰撞预警系统，包括：图像采集模块、模型训练模块、模型识别模块、图像处理模块以及碰撞预警模块，其中：图像采集模块使用摄像头采集场景照片，用于制作训练数据集或在实际工作时用作识别预测模块的输入；模型训练模块使用采集到的图片训练目标检测模型；模型识别模块基于训练的到的模型，在给定图像输入后输出图片中检测到的目标位置和类别；图像处理模块用于提取图像中的防撞辅助线；碰撞预警模块会结合模型识别模块和图像处理模块提供的信息，给出碰撞预警。

本发明涉及一种基于上述系统的基于目标检测和图像处理的抓斗卸船机碰撞预警方法，在卸船工作进行时持续接收设置于抓斗上方的摄像头拍摄的视频，并对采集到的视频进行预处理，制作成训练数据集后用于训练目标检测模型，当模型经过调优准确率达标之后，再将实际工作状态下的视频输入模型，模型会获取到视频中车辆以及抓斗的矩形包围框位置，再结合图像处理算法提取出场景中的防撞辅助线，通过判断是否有碰撞的风险，并给出相应警告信号。

所述的采集数据是指：港口卸船场景下，由设置于抓斗正上方的摄像头拍摄到的目标场景的视频片段，采集到的视频应包含抓斗以及车辆。同时，视频应涵括各种可能在工作时出现的光照条件，包含白天和黑夜。视频也应涵括各种可能出现的天气状况，包括晴天、雨天、阴天。收集到视频应有足够长的长度，确保能制作出图片数量足够的数据集。

所述的数据集是指：通过对采集到的视频做筛选，提取出具有训练价值的视频片段，随后对视频进行截取得到足够数量的图片，再在图片中标注出欲检测目标，最后将得到的数据集划分为测试集和训练集，用于训练模型。

所述的具有训练价值的视频片段是指：包含抓斗和车辆的视频片段。

所述的图片截取过程是指：根据采集到的视频时间长短，选定某一截取频率，定时截取视频中的画面得到图片，所选择频率应确保最终截取到的图片数量大于300张。

所述的图片标注是指：借助图片标注工具，将图中的抓斗和车辆用矩形包围框框选出来，并在获得的包围框上加上目标的标签。