[发明专利]基于目标检测和图像处理的抓斗卸船机碰撞预警系统

权利要求书

1.本发明涉及一种基于目标检测和图像处理的抓斗卸船机碰撞预警系统，其特征在于，包括：图像采集模块、模型训练模块、模型识别模块、图像处理模块以及碰撞预警模块，其中：图像采集模块使用摄像头采集场景照片，用于制作训练数据集或在实际工作时用作识别预测模块的输入；模型训练模块使用采集到的图片训练目标检测模型；模型识别模块基于训练的到的模型，在给定图像输入后输出图片中检测到的目标位置和类别；图像处理模块用于提取图像中的防撞辅助线；碰撞预警模块会结合模型识别模块和图像处理模块提供的信息，给出碰撞预警。

2.一种基于权利要求1所述系统的基于目标检测和图像处理的抓斗卸船机碰撞预警方法，其特征在于，在卸船工作进行时持续接收设置于抓斗上方的摄像头拍摄的视频，并对采集到的视频进行预处理，制作成训练数据集后用于训练目标检测模型，当模型经过调优准确率达标之后，再将实际工作状态下的视频输入模型，模型会获取到视频中车辆以及抓斗的矩形包围框位置，再结合图像处理算法提取出场景中的防撞辅助线，通过判断是否有碰撞的风险，并给出相应警告信号；

所述的采集数据是指：港口卸船场景下，由设置于抓斗正上方的摄像头拍摄到的目标场景的视频片段；

所述的数据集是指：通过对采集到的视频做筛选，提取出具有训练价值的视频片段，随后对视频进行截取得到足够数量的图片，再在图片中标注出欲检测目标，最后将得到的数据集划分为测试集和训练集，用于训练模型。

3.根据权利要求2所述的抓斗卸船机碰撞预警方法，其特征是，所述的视频片段包括抓斗以及车辆，且涵括各种可能在工作时出现的光照条件、天气状况。

4.根据权利要求2所述的抓斗卸船机碰撞预警方法，其特征是，所述的训练是指：基于Faster-RCNN目标检测模型，结合FPN特征提取网络进行训练，将数据集中的图片作为输入参数，同时将输出的检测目标包围框位置和目标标签作为输出参数，不断地对神经网络参数进行迭代优化，该神经网络参数包括：批量大小batch_size、学习率learning rate。

5.根据权利要求2或4所述的抓斗卸船机碰撞预警方法，其特征是，所述的训练采用SGD算法对训练过程进行优化，基于训练数据迭代地更新Faster-RCNN网络和FPN网络的权重，直到模型收敛或损失函数达到要求；

所述的训练采用平均精确度mAP指标对训练好的模型性能进行评估。

6.根据权利要求2所述的抓斗卸船机碰撞预警方法，其特征是，所述的防撞辅助线是指：在待检测场景中，人工牵引设置的一条绳索，绳索上规则地分布有彩色三角旗帜，该辅助线将场景分为两个区域，场景中的车辆和抓斗在工作时应确保分别处于不同的区域中。

7.根据权利要求2所述的抓斗卸船机碰撞预警方法，其特征是，所述的图像处理算法是指：对于摄像头拍摄到的画面，依次进行二值化、形态学处理、连通域分析、直线提取流程，提取出画面中的防撞辅助线；

所述的二值化处理是指：将输入图像转化为只有前景和背景两部分的过程；对于平均亮度较高的图片，使用大津法进行二值化处理，对于平均亮度较低的图片，使用自适应阈值算法进行二值化；在二值化之后，辅助线将会保留在前景中，同时前景中还残留有其他亮度较高的杂质；

所述的形态学处理是指：先试用形态学开操作，尝试去除辅助线中的绳索部分，只保留彩旗；随后应用形态学闭操作填充图像中的空洞，将前景中可能存在的杂质尽可能连接起来；经过此步处理之后，除彩旗之外的其他杂质会被连为整体；

所述的连通域分析是指：对于二值图像中的连通域，按照面积进行筛选，将面积大于某一阈值的连通域去掉，经过该处理后，前景中基本只剩下彩旗；

所述的直线提取是指：使用霍夫变换算法，在二值图像中提取出直线，并对提取出的多条直线取平均，最终保留一条直线作为最后输出的防撞辅助线。

8.根据权利要求2所述的抓斗卸船机碰撞预警方法，其特征是，所述的碰撞预警是指：当检测到车辆和抓斗的矩形包围框之间的水平距离小于某一阈值时，通过声音以及画面给出给出预警；当检测到车辆或抓斗的矩形包围框与防撞辅助线相交时，通过声音以及画面给出另一种类型的预警。