[发明专利]一种基于方向角信息进行三维目标检测的方法

说明书

本发明公开了一种基于方向角信息进行三维目标检测的方法，其包括以下步骤:通过Depth‑RCNN对RGB‑D相机采集到的彩色图像和深度图像进行特征融合并经过支持向量机分类，得到2.5维检测框和对应的二维分割实例图；在得到的二维分割实例图上选取p₁、p₂、p₃三个点，并根据限制条件进行优化；通过二维到三维的点云重建计算所提取的三个点在三维坐标系中的坐标确定初始化三维框的方向角；根据融合后的特征对初始化三维框进行回归。本发明通过深度信息与方向角信息的融合利用，在保证三维框的中心和长宽高的准确率同时提高了方向角估计的准确率，为提高三维目标的检测精度奠定了基础。

技术领域

本发明是涉及一种基于方向角信息进行三维目标检测的方法，属于计算机视觉与图像处理技术领域。

背景技术

目标检测是指利用图像处理、模式识别、人工智能等技术，通过提取场景目标的不同特征信息，对相应目标进行检测，它是计算机视觉和图像处理的一个重要分支。传统的目标检测方法的研究大多仅基于RGB相机获取的二维光学图像，而现实世界是一个三维世界，当涉及到机器人导航、机器人避障、自动驾驶等应用场景时，二维检测由于缺少深度信息，无法提供目标在三维场景下的位置、大小、方向的原因而受到限制。因此，结合深度信息进行三维目标的检测显得十分重要。

现有的三维检测分为基于2.5维信息和3维信息的两类检测方法，其中2.5维的方法是通过卷积网络分别提取颜色信息和深度信息特征或将深度信息编码为彩色信息的额外通道，然后建立模型将二维信息的结果转换到三维空间，如：Amodal3Det^[1]算法，根据先验几何信息对三维框进行中心点和长宽高的初始化，并通过从卷积神经网络中提取的颜色信息和深度信息回归初始化三维框，由于该方法缺少对三维信息的数据利用，以致基于2.5维信息的检测方法均将方向角信息直接初始化为0，而从实验结果分析，在三维框的中心点和长宽高较为准确的情况下，误差较大的方向角信息将影响检测的准确率。另外，现有的基于3维信息的检测方法则注重于直接对三维信息的利用，如：Song^[2]等在传统2维滑动窗的基础上提出一种新的3维滑动窗，以用于对点云空间中的目标特征进行手工提取，并输入支持向量机中进行分类，由于深度信息的噪声和稀疏性问题，导致该类方法的检测精度不高，以致局限了其在高精度领域(如：机器人导航、机器人避障、自动驾驶)的应用。

发明内容

针对现有技术存在的上述问题，本发明的目的是提供一种基于方向角信息进行三维目标检测的方法，以解决基于2.5维信息进行三维目标检测的方法中所存在的方向角信息未得到充分利用的问题，为提高三维目标的检测精度奠定基础。

为实现上述目的，本发明采用的技术方案如下：

一种基于方向角信息进行三维目标检测的方法，包括以下步骤:

S1：通过Depth-RCNN对RGB-D相机采集到的彩色图像和深度图像进行特征融合并经过支持向量机分类，得到2.5维检测框和对应的二维分割实例图；

S2：在得到的二维分割实例图上选取p₁、p₂、p₃三个点，并根据排除不确定点、增加计算信息、修正误判点3个限制条件对p₁、p₂、p₃三个点的信息进行优化；

S3：通过二维到三维的点云重建计算所提取的三个点在三维坐标系中的坐标，根据三个点的坐标确定方向角θ，并将该方向角θ作为初始化三维框的方向角；

S4：将彩色图像和深度图像分别通过VGG-16计算特征图，再通过二维候选框和上下文信息候选框从ROI pooling层中提取特征进行通道融合，并根据融合后的特征对初始化三维框进行回归。