[发明专利]一种基于语义目标的双目视觉定位方法

权利要求书

1.一种基于语义目标的双目视觉定位方法，其特征在于：所述方法具体过程为：

步骤一、用户利用双目相机对当前看到的场景进行拍摄，得到左右两幅图像；

步骤二、将双目相机拍摄到的左右两幅图像输入到训练好的R-FCN语义分割网络，R-FCN语义分割网络识别出当前左右两幅图像中含有的语义目标，以及每个语义目标对应的角点坐标；

步骤三、用户在语义目标中选择一个左右图像共同含有的语义目标，基于该语义目标对应的角点坐标建立目标的三维坐标系；

步骤四、确定步骤三选择的语义目标的角点在左右图像中对应的像素坐标；

步骤五、对拍摄图像所用的双目相机进行标定，获得双目相机内部参数以及外部参数；

步骤六、基于步骤四的语义目标的角点在左右图像中对应的像素坐标差异和步骤五标定后的双目相机，利用双目视觉定位算法求解当前用户在步骤三建立的三维坐标系下相对于该目标的位置坐标及转向角，实现对用户的定位。

2.根据权利要求1所述一种基于语义目标的双目视觉定位方法，其特征在于：所述步骤二中训练好的R-FCN语义分割网络的具体训练过程为：

双目相机对当前看到的场景进行拍摄，得到左右两幅图像作为训练集，对训练集中的每一张照片都进行语义目标的标注，将标注后的训练集图像输入R-FCN语义分割网络；

R-FCN网络的损失函数采用了多目标的损失函数；

在训练过程中，如果损失函数小于规定的阈值或者迭代次数达到上限时，即停止训练，得到训练好的R-FCN语义分割网络。

3.根据权利要求2所述一种基于语义目标的双目视觉定位方法，其特征在于：所述步骤六中基于步骤四的语义目标的角点在左右图像中对应的像素坐标差异和步骤五标定后的双目相机，利用双目视觉定位算法求解当前用户在步骤三建立的三维坐标系下相对于该目标的位置坐标及转向角，实现对用户的定位；具体过程为：

步骤六一、世界坐标系O_w-XYZ到像素坐标系O₂-uv的转换；

步骤六二、对双目相机进行标定；

步骤六三、基于步骤六一和步骤六二，确定选取目标的左上角点在左相机坐标系下的坐标；

步骤六四、基于步骤六三确定的选取目标的左上角点在左相机坐标系下的坐标，将左相机坐标系中的任意一点转换到世界坐标系中；

步骤六五、基于步骤六四求解得到当前选定目标相对于用户的转向角。