[发明专利]用于检测车辆位姿的方法及装置

权利要求书

1.一种用于检测车辆位姿的方法，包括：

将车辆左视点图像和车辆右视点图像输入基于车辆的部位先验数据构建的部位预测和掩膜分割网络模型，确定出基准图像中的前景像素点以及每个前景像素点的部位坐标，所述部位坐标用于表征所述前景像素点在待检测的车辆的部位坐标系中的位置，所述基准图像为所述车辆左视点图像或所述车辆右视点图像，所述部位先验数据为车辆三维部位的先验数据，所述部位坐标系为基于所述前景像素点按照其像素坐标组成的图像建立的车辆的部位坐标系；

基于所述车辆左视点图像和所述车辆右视点图像的视差图以及所述基准图像的相机内参，将所述前景像素点在所述基准图像中的坐标转化为所述前景像素点在相机坐标系中的坐标，得到伪点云，将所述前景像素点的部位坐标与所述伪点云结合，得到融合伪点云；

将所述融合伪点云输入预先训练的位姿预测模型中，得到所述待检测的车辆的位姿信息。

2.根据权利要求1所述的方法，其中，所述车辆左视点图像和所述车辆右视点图像经由如下步骤确定：

从双目相机采集到的同一场景的场景左视点图像和场景右视点图像中，分别提取出所述待检测的车辆的原始左视点图像和原始右视点图像；

将原始左视点图像和原始右视点图像分别缩放至预设尺寸，得到车辆左视点图像和车辆右视点图像；

以及，所述车辆左视点图像和所述车辆右视点图像的视差图基于以下步骤确定：

基于所述场景左视点图像的初始相机内参、所述场景右视点图像的初始相机内参和缩放系数，分别确定出所述车辆左视点图像的相机内参和所述车辆右视点图像的相机内参；

基于所述车辆左视点图像的相机内参和所述车辆右视点图像的相机内参，确定出所述车辆左视点图像和所述车辆右视点图像的视差图。

3.根据权利要求2所述的方法，其中，所述部位预测和掩膜分割网络模型为采用编码器-解码器的框架的模型；以及，

所述将所述车辆左视点图像和所述车辆右视点图像输入基于车辆的部位先验数据构建的部位预测和掩膜分割网络模型，确定出所述基准图像中的前景像素点以及每个前景像素点的部位坐标，包括：

将所述车辆左视点图像和所述车辆右视点图像分别输入所述部位预测和掩膜分割网络模型，得到所述车辆左视点图像的编码特征向量和所述车辆右视点图像的编码特征向量；

将所述车辆左视点图像的编码特征向量和所述车辆右视点图像的编码特征向量进行融合，得到融合后的编码特征向量；

对所述融合后的编码特征向量进行解码，得到所述基准图像中的前景像素点和每个前景像素点的部位坐标。

4.根据权利要求3所述的方法，所述将所述融合伪点云输入预先训练的位姿预测模型中，得到所述待检测的车辆的位姿信息，包括：

基于所述前景像素点的伪点云坐标和部位坐标，确定所述待检测的车辆的全局特征向量；

从所述融合伪点云中采样出预设数量的前景像素点；

基于所述预设数量的前景像素点的伪点云坐标、部位坐标和所述全局特征向量，预测出所述基准图像的相机外参；

基于所述相机外参，确定所述待检测的车辆的位姿信息。

5.根据权利要求4所述的方法，所述方法还包括：

将所述融合后的编码特征向量作为立体特征向量；

基于所述立体特征向量和所述全局特征向量，得到三维拟合分数，所述三维拟合分数用于指导所述位姿预测模型的训练。

6.根据权利要求1至5之一所述的方法，其中，所述基于所述车辆左视点图像和所述车辆右视点图像的视差图以及所述基准图像的相机内参，将所述前景像素点在所述基准图像中的坐标转化为所述前景像素点在相机坐标系中的坐标，得到伪点云，将所述前景像素点的部位坐标与所述伪点云结合，得到融合伪点云，包括：

基于所述基准图像的相机内参以及所述车辆左视点图像和所述车辆右视点图像的视差图，确定出所述前景像素点的深度值；

基于所述前景像素点在所述基准图像中的坐标和所述深度值，得到所述前景像素点在所述相机坐标系中的初始坐标；

基于所述前景像素点的部位坐标，更新所述初始坐标，将更新的初始坐标及所述前景像素点的部位坐标结合，得到融合伪点云。