[发明专利]一种目标对象的三维信息确定方法和装置

权利要求书

1.一种目标对象的三维信息确定方法，其特征在于，包括：

获取车辆摄像头采集的图像；

将所述车辆摄像头采集的最新一帧图像作为目标图像；

确定滑动窗口内的多帧图像中目标对象的二维信息和三维信息；

将所述多帧图像中目标对象对应的所述三维信息重投影到二维平面得到投影信息；

分别根据所述多帧图像中目标对象对应的所述投影信息和所述二维信息，确定对应的残差；其中，所述残差由目标残差表达式表示，所述目标残差表达式包括预设第一残差的表达式、预设第二残差的表达式和预设第三残差的表达式；所述预设第一残差为二维包围盒与三维包围盒重投影到二维平面得到的投影包围盒之间的残差；所述预设第二残差为二维特征线段与三维特征线段重投影到二维平面得到的投影特征线段之间的残差；所述预设第三残差为所述目标对象的测量位姿和预测位姿之间的残差；所述测量位姿为根据图像中所述目标对象的所述三维包围盒和针对目标对象的预设运动模型确定，所述预测位姿为根据前一帧图像中目标对象的测量位姿预测得到；

根据所述多帧图像中目标对象对应的残差，确定所述目标图像中所述目标对象的优化三维信息。

2.根据权利要求1所述的方法，其特征在于，所述分别根据所述多帧图像中目标对象对应的所述投影信息和所述二维信息，确定对应的残差，包括：

以图像中目标对象的位姿、尺寸、速度为节点构造因子图；

以最小二乘问题优化所述因子图，得到针对所述图像中目标对象的目标残差表达式，所述目标残差表达式用于表示将所述三维信息重投影至二维平面得到的投影信息与所述二维信息之间的残差；

根据所述多帧图像中目标对象对应的二维信息和投影信息，基于所述目标残差表达式确定对应的残差。

3.根据权利要求2所述的方法，其特征在于，所述二维信息包括二维包围盒和二维特征线段，所述三维信息包括三维包围盒、三维特征线段；所述将所述多帧图像中目标对象对应的所述三维信息重投影到二维平面得到投影信息，包括：

将所述多帧图像中目标对象对应的所述三维包围盒重投影到二维平面得到投影包围盒；

将所述多帧图像中目标对象对应的所述三维特征线段重投影到二维平面得到投影特征线段。

4.根据权利要求3所述的方法，其特征在于，所述目标残差表达式包括预设第一残差的表达式、预设第二残差的表达式和预设第三残差的表达式；

所述根据所述多帧图像中目标对象对应的二维信息和投影信息，基于所述目标残差表达式确定对应的残差，包括：

分别确定所述多帧图像中目标对象对应的所述二维包围盒与所述投影包围盒之间的预设第一残差；

分别确定所述多帧图像中目标对象对应的所述二维特征线段与所述投影特征线段之间的预设第二残差；

分别根据所述多帧图像中目标对象的所述三维包围盒和针对目标对象的预设运动模型，确定所述多帧图像中目标对象的测量位姿和预测位姿，并确定所述测量位姿与所述预测位姿之间的预设第三残差。

5.根据权利要求4所述的方法，其特征在于，所述根据所述多帧图像中目标对象对应的残差，确定所述目标图像中所述目标对象的优化三维信息，包括：

根据所述多帧图像对应的所述预设第一残差、所述预设第二残差和所述预设第三残差，确定目标图像中所述目标对象的优化三维信息。

6.根据权利要求4所述的方法，其特征在于，所述分别根据所述多帧图像中目标对象的所述三维包围盒和针对目标对象的预设运动模型，确定所述多帧图像中目标对象的测量位姿和预测位姿，并确定所述测量位姿与所述预测位姿之间的预设第三残差，包括：

分别根据所述多帧图像中目标对象的所述三维包围盒和针对目标对象的预设运动模型，确定所述多帧图像中目标对象的测量位姿；

根据一帧图像的前一帧图像中目标对象的测量位姿，预测得到针对所述一帧图像中目标对象的预测位姿；

确定所述多帧图像中目标对象的所述测量位姿与所述预测位姿之间的预设第三残差。