[发明专利]车辆三维信息检测方法、装置、设备及可读存储介质

说明书

本发明提供了一种车辆三维信息检测方法、装置、设备及可读存储介质，方法包括：将单目相机采集的实际场景图像作为预先训练好的深度学习模型的输入，得到深度学习模型的输出信息，输出信息包括分别表示四个车辆侧棱是否可见的四个二分类值和四个车辆侧棱与路面交点的图像坐标；根据四个二分类值确定车辆朝向；在确定的车辆朝向为复合朝向时，根据可见车辆侧棱与路面交点的图像坐标、车辆的实际长度和宽度以及单目相机的内参矩阵和外参矩阵，计算得到车辆航向角。相比于标注车辆航向角，降低了训练图像的标注难度，以及基于单目相机的单帧图像检测出了车辆的三维信息，进而降低了成本和提高了检测稳定性。

技术领域

本发明涉及自动驾驶技术领域，更具体地说，涉及车辆三维信息检测方法、装置、设备及可读存储介质。

背景技术

对于自动驾驶车辆来说，理解周围交通环境至关重要。自动驾驶车辆在行驶过程中，不仅需要检测出周围车辆，还需要检测出车辆的位置和朝向等三维信息。目前，对于车辆的三维信息检测，有采用双目相机或深度相机进行检测，但是成本较高；还有采用由激光雷达的标注数据，训练车辆三维信息检测模型，再在实际场景中使用训练好的模型根据激光雷达的扫描数据，检测周围车辆的三维信息，但是激光雷达存在稳定性较低的问题。

发明内容

有鉴于此，本发明提出车辆三维信息检测方法、装置、设备及可读存储介质，欲基于单目相机的单帧图像检测出车辆的三维信息，进而实现降低成本和提高检测稳定性的目的。

为了实现上述目的，现提出的方案如下：

第一方面，提供了一种车辆三维信息检测方法，包括：

获取单目相机采集的实际场景图像；

将所述实际场景图像作为预先训练好的深度学习模型的输入数据，得到所述深度学习模型的输出信息，所述输出信息包括分别表示四个车辆侧棱是否可见的四个二分类值和四个车辆侧棱与路面交点的图像坐标；

根据所述四个二分类值确定车辆朝向；

在所述确定的车辆朝向为复合朝向时，根据可见车辆侧棱与路面交点的图像坐标、车辆的实际长度和宽度以及单目相机的内参矩阵和外参矩阵，计算得到车辆航向角。

可选的，所述深度学习模型的训练过程，包括：

根据训练图像中用户标注的车辆朝向，生成分别表示四条车辆侧棱是否可见的四个二分类值；

确定不可见车辆侧棱与路面的交点的图像坐标均为零；

根据训练图像上标注的矩形框和侧边，得到可见车辆侧棱与路面交点的图像坐标，所述矩形框的边与所述训练图像的边平行，所述侧边与侧面的两个车轮相切于两个车轮的接地点；

将所述训练图像和对应的所述四个二分类值以及四个车辆侧棱与路面的交点的图像坐标作为一个训练样本，对深度学习模型进行训练。

可选的，所述根据训练图像上标注的矩形框和侧边，得到可见车辆侧棱与路面交点的图像坐标，具体包括：

计算得到所述矩形框的两个竖直线在图像坐标系的直线方程；

根据所述侧边的两端点的图像坐标确定所述侧边的直线方程；

在可见车辆侧棱为两个时，确定两个可见车辆侧棱与路面的交点的图像坐标，分别为所述矩形框的左竖线与所述侧边的交点的图像坐标和所述矩形框的右竖线与所述侧边的交点的图像坐标；

在可见车辆侧棱为三个时，确定与所述侧边处于相同面的两个可见车辆侧棱与路面的交点的图像坐标，分别为与所述侧边处于相同面的两个可见车辆侧棱与所述侧边的交点的图像坐标，以及根据用户标注的所述训练图像中车辆的朝向，确定与所述侧边不处于相同面的可见车辆侧棱与路面的交点的图像坐标，为所述矩形框的左下顶点的图像坐标和所述矩形框的右下顶点的图像坐标中的一个。