[发明专利]一种基于激光视觉融合和深度学习的防打保龄方法、系统

权利要求书

1.一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，包括如下步骤：

利用安装在小车上的面阵激光扫描得到当前呗位和隔壁呗位的3D点云图；

利用设置在大梁和小车上的摄像头采集得到RGB图像；

根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；

根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；

根据得到当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度等信息，以及当前呗位集装箱边界框和隔壁呗位集装箱的边界框，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护。

2.根据权利要求1所述的一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；具体包括：

建立PointNet++网络结构，通过PointNet++网络结构实现多帧点云图的目标检测，在特征图上回归检测目标的位置、尺寸；

将已知数据集输入到PointNet++网络结构进行训练，同时设置总损失函数对已知数据集通过PointNet++网络结构回归出的所有目标的位置、尺寸进行优化监督，获得PointNet++网络结构中所有参数的参数值。

3.根据权利要求1所述的一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；还包括：确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息具体为：

对于最终特征图上的每个像素具有的参数向量(f，px，py，w，sinθ，cosθ)，对最终特征图上的每个像素进行如下操作：若像素的目标置信度f大于目标判别阈值thresf，则最终特征图的当前像素对应的空间位置存在目标，计算目标的中心位置[cXobj，cYobj]：

cXobj＝cXp+px

cYobj＝cYp+py

其中，cXp和cYp分别表示当前像素的中心对应的空间位置在当前帧点云图的点云坐标系下的x轴和y轴的坐标，px，py分别表示目标的中心相对于该像素的横向和纵向偏移；w为目标的长宽，θ为目标的朝向角，其中，sinθ为目标朝向角的正弦值，cosθ为目标朝向角的余弦值；

提取所有目标置信度f大于目标判别阈值thresf的像素回归出的目标的位置、尺寸和角度，最终确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息。

4.根据权利要求1所述的一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，所述RGB图像预处理具体包括以下一种或多种的组合：翻转、拉伸、调节亮度、增加噪声点干扰以及抖动。

5.根据权利要求1所述的一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，所述根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框，具体包括：

所述根据得到的所述RGB图像，将RGB图像预处理后，形成样本集，将所述样本集划分测试集和训练集；

将所述训练集输入到初始Mask R-CNN模型中进行训练，检测图像中的集装箱目标，得到基于集装箱图像的Mask R-CNN检测集装箱目标的模型；

将所述测试集对已经训练好的Mask R-CNN模型进行测试并调整至模型收敛，得到最终Mask R-CNN训练模型。