[发明专利]一种基于双目视觉的快速三维目标检测算法

说明书

本发明提出了一种基于双目视觉的快速三维目标检测算法，该算法选择ResNet‑50作为特征提取的骨干网络，并将其中所有卷积核替换为深度可分离卷积减少计算量，随后通过特征金字塔结构融合多尺度信息完成特征提取任务；将获取的左、右特征图通过立体区域建议网络分别选出最佳区域候选框，并通过统一动态样本加权策略改善网络分类与回归失衡问题；将左、右区域候选框通过区域对齐层使其回归到所需大小；对回归后的左目候选框进行关键点预测，完成对目标四个角点的预测并结合右目信息获取目标粗略三维信息；利用光度一致性约束对获取的视差图进一步优化，从而改善视差图的质量以获取更高精度的视差信息。本发明的优点在于，提供的基于双目视觉的快速目标检测算法，在保证一定精度的同时，能够快速完成三维目标检测任务，检测速度提升了约2.5倍。

技术领域

一种基于双目视觉的快速三维目标检测算法。

背景技术

在实际应用场景中，三维目标检测不仅能够完成二维目标检测的像素坐标回归及定位，还能够衡量真实世界的深度、尺寸等信息，而深度信息的获取，进一步促进了自动化、无人驾驶和物联网等领域的发展，具有较高的实际应用价值。

而基于双目视觉的三维目标检测算法以其检测精度较高、成本低廉、受外界干扰因素影响小等优点，实际应用价值和市场远超同类算法，对目标空间信息的检测能够进一步推动自动化等领域的发展和进步。

发明内容

本发明的目的是解决基于双目视觉的三维目标检测算法检测精度上升所带来的检测速度慢的问题。提供一种基于双目视觉的快速三维目标检测算法，用于实现对空间内目标深度信息的检测。

为实现上述目的，本发明是通过的这样的技术方案实现的，包括如下步骤：

步骤1：对输入双目图像数据进行特征提取获取左、右特征图。

步骤2：将左、右特征图通过立体区域建议网络分别选出左、右目图像的最佳区域候选框。

步骤3：将左、右最佳区域候选框通过兴趣区域对齐层回归到所需大小。

步骤4：对回归后的左目候选框进行关键点预测，完成对目标四个角点的预测并结合右目信息获取目标粗略三维信息。

步骤5：采用密集三维框对齐对获取的目标三维框进行像素级校正。

步骤6：采用训练样本对上述步骤所建立的模型进行训练直至满足所需条件。

步骤7：采用测试集对训练后的模型进行测试。

在步骤1中对输入双目图像数据进行特征提取。首先，通过对比分析选用检测精度较高且计算量较低的ResNet-50网络作为骨干网络。其次，采用深度可分离卷积替换残差网络中的所有卷积核，以减轻特征提取阶段网络的复杂度和计算量。然后，将频域通道注意力机制插入残差模块中，改善深层残差网络受权重变换敏感的问题。最后，通过特征金字塔的方式将上采样获取的特征图进行下采样融合多尺度信息以扩充图像特征的感受野，提升小目标检测性能。

在步骤2中将左、右特征图通过立体区域建议网络分别选出最佳区域候选框。首先，对多尺度特征图进行通道缩减，然后通过两个同级完全连接层对目标进行分类和回归，并通过滑动窗口的方式获取左、右图像的区域候选框。其次，通过统一动态样本加权策略改善网络造成分类与回归失衡问题。最后采用软非极大抑制算法(Soft Non MaximumSuppression，Soft-NMS)对候选框进行筛选。

在步骤3中将左、右区域候选框通过区域对齐层使其回归到所需大小，使左、右感兴趣区域特征连接起来并输入到两个连续并在每层后接有线性流整函数(RectifiedLinear Unit，ReLU)的完全连接层，以便于提取语义信息。

在步骤4中对回归后的左目候选框通过6个3*3*256的全连接层进行关键点预测，完成对目标四个角点的预测并结合右目信息获取目标粗略三维信息。