[发明专利]用于检测车辆位姿的方法及装置

说明书

本申请公开了一种用于检测车辆位姿的方法和装置，涉及自动驾驶领域。具体实现方案为：将车辆左视点图像和车辆右视点图像输入部位预测和掩膜分割网络模型，确定出基准图像中的前景像素点及其部位坐标；基于车辆左视点图像和车辆右视点图像的视差图、前景像素点的部位坐标和基准图像的相机内参，得到伪点云；将伪点云输入预先训练的位姿预测模型中，得到待检测的车辆的位姿信息。基于车辆部位先验数据对采集到的车辆左视点图像和右视点图像进行部位预测和掩膜分割，可以获得更准确地分割结果，因此提高了车辆位姿预测的准确度。

技术领域

本申请公开了一种用于检测车辆位姿的方法及装置，涉及计算机技术领域，尤其涉及自动驾驶领域。

背景技术

三维车辆跟踪是自动驾驶、机器人等应用场景中不可或缺的重要技术，其中固有的难点是如何获取精确的深度信息，实现对每个车辆的精确检测和定位。三维位姿检测技术依据深度信息获取的方式，可以分为3类：基于单目视觉的三维位姿检测技术、基于双目视觉的三维位姿检测技术以及基于激光雷达的三维位姿检测技术。

相关技术中，基于双目视觉预测车辆三维位姿的方法分为两种，一种是Stereo-RCNN，该方法可以实现左右图同时完成二维检测与检测框的匹配，随后基于左右检测框提取的特征，回归二维关键点与三维长宽高信息，最后利用关键点建立三维-二维投影方程，求解得到车辆的三维位姿。另一种是Pseudo-LiDAR，该方法首先对全图做像素级视差估计，然后得到较为稀疏的伪点云，并将基于激光雷达真实点云数据训练得到的点云三维检测模型应用在伪点云上，以预测出车辆的三维位姿。

发明内容

本申请实施例提供了一种用于检测车辆位姿的方法、装置、设备以及存储介质。

根据第一方面，本申请实施例提供了一种用于检测车辆位姿的方法，该方法包括：将车辆左视点图像和车辆右视点图像输入基于车辆的部位先验数据构建的部位预测和掩膜分割网络模型，确定出基准图像中的前景像素点以及每个前景像素点的部位坐标，部位坐标用于表征前景像素点在待检测的车辆的坐标系中的位置，基准图像为车辆左视点图像或车辆右视点图像，部位先验数据为车辆三维部位的先验数据；基于车辆左视点图像和车辆右视点图像的视差图以及基准图像的相机内参，将前景像素点在基准图像中的坐标转化为前景像素点在相机坐标系中的坐标，得到伪点云，将前景像素点的部位坐标与伪点云结合，得到伪点云的特征数据；将伪点云的特征数据输入预先训练的位姿预测模型中，得到待检测的车辆的位姿信息。

根据第二方面，本申请实施例提供了一种用于检测车辆位姿的装置，该装置包括：图像分割模块，被配置成将车辆左视点图像和车辆右视点图像输入基于车辆的部位先验数据构建的部位预测和掩膜分割网络模型，确定出基准图像中的前景像素点以及每个前景像素点的部位坐标，部位坐标用于表征前景像素点在待检测的车辆的部位坐标系中的位置，基准图像为车辆左视点图像或车辆右视点图像，部位先验数据为车辆三维部位的先验数据；点云生成模块，被配置成基于车辆左视点图像和车辆右视点图像的视差图以及基准图像的相机内参，将前景像素点在基准图像中的坐标转化为前景像素点在相机坐标系中的坐标，得到伪点云，将前景像素点的部位坐标与伪点云结合，得到伪点云的特征数据；位姿预测模块，被配置成将伪点云输入预先训练的位姿预测模型中，得到待检测的车辆的位姿信息。

根据本申请的上述实施例，解决了遮挡现象降低车辆的三维位姿预测准确度的问题，基于车辆部位先验数据对采集到的车辆左视点图像和右视点图像进行部位预测和掩膜分割，可以获得更准确地分割结果，因此提高了车辆位姿预测的准确度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请的实施例可以应用于其中的示例性系统架构图；

图2是根据本申请第一实施例的示意图；