[发明专利]一种基于激光视觉融合和深度学习的防打保龄方法、系统

说明书

本发明提供了一种基于激光视觉融合和深度学习的防打保龄方法、系统，其中方法包括如下步骤：利用面阵激光扫描得到当前呗位和隔壁呗位的3D点云图，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；利用摄像头采集得到RGB图像；输入Mask R‑CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；判定吊具位置、长度与集装箱的位置信息和高度信息的关系，触发当前呗位的保护。本发明将视觉手段和激光手段的结合，并分别利用视觉图像和激光数据训练有效模型，检测识别集装箱的各参数特征，然后根据两种识别方法得出的参数特征共同判断防打保龄，实现精确判定防打保龄，符合安全生产的要求。

技术领域

本发明涉及起重机领域，特别是指一种基于激光视觉融合和深度学习的防打保龄方法、系统和可读存储介质。

背景技术

随着集装箱码头和堆场起重机的快速发展，在装卸集装箱的过程中是否精准安全，直接关系到码头生产效率的高低和经济效益。在司机疲劳和视觉不佳的情况下，箱子容易相撞。也称“打保龄”事故，这不仅会造成集装箱箱体和箱内获取、拖车、托架损坏，而且会造成人员伤亡，并在一定程度上限制龙门吊作业效率的提高。

目前，针对在堆场内，在起重机起带箱或者不带箱时，起升未到足够高度的情况下，动小车从而造成吊具撞翻前后邻近的集装箱的问题，现有技术一般采用激光扫描的手段，通过实时进行扫描小车前后方集装箱高度和位置，控制小车速度和停止以实现防撞保护。但目前通过激光手段仍存在盲区问题导致扫描不全，司机无法准确判断，使得安全事故频有发生，无法达到安全生产的要求。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种视觉手段和激光手段的结合，并分别利用视觉图像和激光数据训练有效模型，检测识别集装箱的各参数特征，然后根据两种识别方法得出的参数特征共同判断防打保龄，实现精确判定防打保龄，符合安全生产的要求。

本发明采用如下技术方案：

一种基于激光视觉融合和深度学习的防打保龄方法，包括如下步骤：

利用安装在小车上的面阵激光扫描得到当前呗位和隔壁呗位的3D点云图；

利用设置在大梁和小车上的摄像头采集得到RGB图像；

根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；

根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；

根据得到当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度等信息，以及当前呗位集装箱边界框和隔壁呗位集装箱的边界框，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护。

具体地，根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；具体包括：

建立PointNet++网络结构，通过PointNet++网络结构实现多帧点云图的目标检测，在特征图上回归检测目标的位置、尺寸；

将已知数据集输入到PointNet++网络结构进行训练，同时设置总损失函数对已知数据集通过PointNet++网络结构回归出的所有目标的位置、尺寸进行优化监督，获得PointNet++网络结构中所有参数的参数值。