[发明专利]三维目标检测方法、装置以及存储介质

权利要求书

1.一种三维目标检测方法，包括：

将目标物体在单目图像中的第一坐标中心，设置为所述目标物体的3D边界框的第二坐标中心；

获取采集所述单目图像的单目相机的外参和内参，根据所述外参和内参设置所述目标物体的3D边界框的空间坐标约束；

设置与所述目标物体的姿态角相对应的方向损失函数，基于所述目标物体的平均尺寸、与所述平均尺寸相对应的估计残差，设置所述3D边界框的尺寸损失函数；

根据所述方向损失函数和所述尺寸损失函数，生成预设的卷积神经网络模型的模型损失函数；

使用单目图像训练样本并基于所述空间坐标约束和所述模型损失函数，对所述卷积神经网络模型进行训练，使用训练好的所述卷积神经网络模型对单目图像进行三维目标检测处理；

其中，所述姿态角包括：方向角；所述设置与所述目标物体的姿态角相对应的方向损失函数包括：

将所述方向角映射到多个重叠的bin中；其中，所述卷积神经网络模型估计出所述方向角落在所述bin中的概率，以及所述方向角的Cos和Sin值；确定与所述bin相对应的置信损失和定位误差；基于所述置信损失和定位误差获得所述方向损失函数为：

L_theta＝L_conf+w*L_loc；

其中，L_conf为所述bin的置信损失；L_loc为定位误差，w为权重系数。

2.如权利要求1所述的方法，所述根据所述外参和内参设置所述目标物体的3D边界框的空间坐标约束包括：

根据所述外参和内参确定与所述3D边界框顶点相对应的顶点三维坐标；

确定所述目标物体在所述单目图像中的2D边界框，基于所述2D边界框和所述顶点三维坐标生成所述空间坐标约束，以使每个顶点都能投影在所述2D边界框的至少一条边上。

3.如权利要求2所述的方法，还包括：

将与所述3D边界框相对应的三维坐标系设置为以第二坐标中心为原点的世界坐标系；

确定位于所述3D边界框上的点在所述三维坐标系中的三维坐标在所述单目图像中的投影坐标为：

x＝K[R|T]x₀；

其中，所述三维坐标为x₀＝[X,Y,Z,1]^T，所述投影坐标为x＝[x,y,1]^T；R为所述单目相机的旋转矩阵，T为所述单目相机的平移矩阵，K为所述单目相机的内参矩阵。

4.如权利要求2所述的方法，其中，

所述方向损失函数为：

L_theta＝L_conf+w*L_loc；

所述定位误差为：

其中，nθ*为和所述方向角有覆盖的θ*角度的bin的个数，c_i是第i个bin相对于单目相机中心的偏差角度，θ*为bin的中心角度，Δθ_i是第i个bin的中心需要的变化量。

5.如权利要求4所述的方法，所述基于与所述目标物体的平均尺寸、与所述平均尺寸相对应的估计残差，设置所述3D边界框的尺寸损失函数包括：

所述尺寸损失函数为：

其中，D*是所述3D边界框的真实尺寸，是所述目标物体的平均尺寸，δ是所述卷积神经网络预测相对于所述平均尺寸估计的残差，n为所述3D边界框的数量。

6.如权利要求5所述的方法，所述根据所述方向损失函数和所述尺寸损失函数，生成预设的卷积神经网络模型的模型损失函数包括：

所述模型损失函数为：

L＝α×L_dims+L_theta；

其中，α为权重参数。

7.如权利要求6所述的方法，其中，

所述卷积神经网络模型包括三个分支，每个分支都包括有多个全连接层；其中，第一分支用于估计所述3D边界框的尺寸，第二分支用于估计所述bin的中心角度的Sin和Cos值，第三分支用于估计所述bin的置信度。