[发明专利]一种改进SMOKE的单目视觉3D车辆目标实时检测方法

说明书

本发明公开了一种改进SMOKE的单目视觉3D车辆目标实时检测方法，包括下列步骤：步骤一、3D车辆数据采集与标定；步骤二、数据集制作；步骤三、构建3D车辆目标检测模型；该步骤中，3D车辆目标检测模型为改进SMOKE的目标检测模型，包括在DLA‑34骨干网络后添加DLAUP与IDAUP形成的DLA‑seg骨干网络，DLA‑seg骨干网络中使用形变卷积和下采样层组合进行信息提取，并添加注意力机制；步骤四、检测模型训练与推理；步骤五、将步骤四中最优的模型嵌入实时系统中，并进行实时检测。本发明提升网络检测性能，克服了计算中存在形变和信息损失导致计算精度不足的技术问题。

技术领域

本发明属于图像处理技术领域，具体涉及一种改进SMOKE的单目视觉3D车辆目标实时检测方法。

背景技术

在自动驾驶的技术中，3D目标检测能够提更加丰富的信息，如：目标的类别、位置和姿态。因此，与2D检测相比，3D目标检测的难度更大。目前很多的方法都是使用激光雷达进行3D目标检测，但激光雷达的方案成本高且寿命短，相比于使用昂贵的激光雷达等传感器，相机传感器成本低廉，且寿命长、易于安装，同时图像的检测技术相对更加成熟，有利于研究工作的快速进行。但是单目3D目标检测的难点就在于对深度信息的预测，而这也恰恰是激光雷达的优势所在。在单目的方案中，将实例从3D空间投影到2D图像平面就必然会损失图像的深度信息。因此，对于深度信息的处理一直是单目目标检测的重点研究内容。

发明内容

本发明的目的是提供一种改进SMOKE的单目视觉3D车辆目标实时检测方法，用于解决现有技术中单目目标检测中存在因计算中存在形变和信息损失导致计算精度不足的技术问题。

所述的一种改进SMOKE的单目视觉3D车辆目标实时检测方法，包括下列步骤：

步骤一、3D车辆数据采集与标定；

步骤二、数据集制作；

步骤三、构建3D车辆目标检测模型；

该步骤中，3D车辆目标检测模型为改进SMOKE的目标检测模型，包括在DLA-34骨干网络后添加DLAUP与IDAUP形成的DLA-seg骨干网络，DLA-seg骨干网络中使用形变卷积和下采样层组合进行信息提取，并添加注意力机制；

步骤四、检测模型训练与推理；

步骤五、将步骤四中最优的模型嵌入实时系统中，并进行实时检测。

优选的，所述步骤三中，在进行检测框回归时，改进SMOKE中的损失函数为：其中，L_cls为关键点分类损失，为改进后的3D边界框回归损失，L_change为改进后的总损失，回归参数为α和β，z是特征图的深度偏移；x_c、y_c是表示特征图的关键点x和y坐标方向的偏移量；h、w、l是目标尺寸高宽长对应的残差，α是目标旋转角，β为检测框的航向角，检测框的航向角通过上述损失函数直接回归得到。

优选的，所述步骤三中，采集的图像数据与标定数据联合输入模型后，经骨干网络处理后实现关键点分类，并同时进行3D检测框的回归，通过对检测框的导航角和3D坐标进行回归，结合分类得到的关键点实现对3D检测框的预测。

优选的，骨干网络在DLAUP和IDLAUP部分引入注意力机制，在网络结构中添加1个通道注意力模块和1个空间注意力模块，骨干网络中Up1模块在可形变卷积后接入1个通道注意力模块和1个空间注意力模块；Up2模块在可形变卷积后接入1个通道注意力模块和1个空间注意力模块。

优选的，通道注意力模块中，输入特征图是H×W×C，先分别进行一个全局平均池化和全局最大池化得到两个1×1×C的特征图，然后将这两个特征图分别送入两层的全连接神经网络，对应两个特征图的两层全连接神经网络是共享参数的，再将得到的两个特征图相加，通过激活函数得到归一化的权重系数，然后权重系数再与输入特征图相乘，得到最终输出特征图。