[发明专利]应用于低速自主驾驶机器人的三维障碍物检测系统与方法

权利要求书

1.一种应用于低速自主驾驶机器人的三维障碍物检测系统，其特征在于，它包括：

联合标定模块，所述联合标定模块用于联合标定计算激光雷达与单目相机的转换矩阵；

三维点云采集模块，所述三维点云采集模块通过激光雷达获取场景的三维点云数据；

二维图像采集模块，所述二维图像采集模块通过单目相机获取场景二维图像数据；

点云投影模块，所述点云投影模块用于将激光雷达采集到的三维点云投影为相机坐标系下二维点云；

目标识别模块，所述目标识别模块用于识别相机采集的二维图像中的目标物体，并获取二维目标物体的包围框；

三维点云分类模块，所述三维点云分类模块用于将三维点云按照二维图像识别目标的包围框进行分类；

三维点云聚类模块，所述三维点云聚类模块用于将经三维点云分类模块分类过的点云分别进行聚类；

包围盒计算模块，所述包围盒计算模块用于将聚类过的点云和Yolov3识别到的目标物ROI图像输入深度学习网络，回归出三维包围盒。

2.根据权利要求1所述的一种应用于低速自主驾驶机器人的三维障碍物检测系统，其特征在于：还包括输出模块，所述输出模块用于输出三维目标类别信息和位置信息。

3.根据权利要求1所述的一种应用于低速自主驾驶机器人的三维障碍物检测系统，其特征在于：所述包围盒计算模块包括PointNet网络、ResNet网络、拼接模块和MLP回归网络，所述PointNet网络的输出端和ResNet网络的输出端分别与拼接模块的输入端相连，所述拼接模块的输出端与MLP回归网络的输入端相连；

所述PointNet网络用于从三维点云中提取点云的feature map；

所述ResNet网络用于从二维目标物体的包围框图像中提取图像的feature map；

所述拼接模块用于将PointNet网络和ResNet网络获取的点云和包围框图像的featuremap进行拼接再输入MLP回归网络；

所述MLP回归网络用于回归出包围盒。

4.一种如权利要求1～3中任一项所述的应用于低速自主驾驶机器人的三维障碍物检测系统的检测方法，其特征在于，包括如下步骤：

步骤S1、利用激光雷达获取标定板三维点云数据，利用单目相机获取标定板二维图像数据，通过标定板上多个点的三维坐标信息和二维坐标信息，利用PnP算法计算激光雷达与相机的坐标转换关系矩阵；

步骤S2、利用激光雷达获取场景的三维点云数据，称为三维点云；

步骤S3、利用单目相机获取场景的二维图像数据，称为二维图像；

步骤S4、按照激光雷达的和单目相机的朝向，剔除单目相机背向的三维点云数据，将剩余的三维点云通过投影矩阵，投影到二维图像上；

步骤S5、利用目标识别深度神经网络识别二维图像上的目标物体，并计算出二维目标物体的包围框；

步骤S6、利用二维图像上的目标物体二维包围框，将投影到二维图像上的三维点云进行分类，再通过聚类算法，剔除噪声点和距离较远的点；

步骤S7、将聚类过的点云和深度神经网络识别到的目标物包围框图像输入深度学习网络，回归出三维包围盒，此时可获得对应包围盒的目标类别和具体位置。

5.根据权利要求4所述的一种应用于低速自主驾驶机器人的三维障碍物检测系统的检测方法，其特征在于，所示步骤S4中，按照激光雷达的和单目相机的朝向，剔除单目相机背向的三维点云数据，将剩余的三维点云通过投影矩阵，投影到二维图像上，包括如下步骤：

步骤S41、通过联合标定计算出激光雷达获取的点云数据所在坐标系和单目相机成像的物理坐标系之间的转换关系，即旋转矩阵（R）和平移矩阵（T），称为外参矩阵；

步骤S42、根据外参矩阵将激光雷达的点云数据转换到单目相机的成像物理坐标系下；

步骤S43、再通过单目相机的内参矩阵（K）把转换过的点云数据投影到单目相机的像素坐标系下，所述内参矩阵（K）的表达式为：

，

其中f_x，f_y表示焦距，x₀，y₀表示主点偏移。