[发明专利]相机不可见位置的图像坐标的获取方法、标定方法及系统

说明书

本申请涉及一种相机不可见位置的图像坐标的获取方法、标定方法及系统。该获取方法包括从深度相机获取主相机不可见的待测位置的第一彩色图像及相应的深度图像，其中深度相机被定位成使得待测位置位于深度相机的视野范围内；从第一彩色图像及相应的深度图像提取待测位置三维坐标；利用用于将深度相机坐标系转换成主相机坐标系的平移矩阵和旋转矩阵，将待测位置三维坐标转换为待测位置图像坐标，其中平移矩阵和旋转矩阵是通过在主相机和深度相机之间进行标定来确定的。通过以上方法，使得可以以较为简单的方式获取在相机的视野范围外的位置的图像坐标，而且误差较小。

技术领域

本申请涉及图像测量以及机器视觉技术领域，尤其涉及一种不可见待测位置的像素坐标的获取方法、标定方法及系统。

背景技术

随着自动驾驶的发展，车辆上需要安装相机(例如，IR相机或RGB相机等) 来为自动驾驶的实现提供辅助。但是，由于相机的视野范围存在一定的限制，因此无法利用单个相机来获取其不可见的位置(即，不在该相机的视野范围内的位置，例如车辆的后视镜、前窗玻璃、仪表盘等)在相机坐标系下的图像坐标，但是在实际驾驶过程中，关于这些位置的图像坐标信息对于自动驾驶而言可能是非常重要的。目前，通常借助于多个辅助相机或者反射镜来帮助获取这种图像坐标，但是这实现起来较为复杂，而且容易引起较大的误差。

因此，有必要提供一种相机不可见位置的图像坐标的获取技术，使得可以获取在相机的视野范围外的位置的图像坐标，并且实现起来较为简单，而且不会引起很大的误差。

发明内容

鉴于以上技术问题，本申请提供了一种不可见待测位置的像素坐标的获取方法、标定方法及系统，使得可以以较为简单的方式获取在相机的视野范围外的位置的图像坐标，而且误差较小。

在本申请的第一方面，提供了一种相机不可见位置的图像坐标的获取方法，包括：从深度相机获取主相机不可见的待测位置的第一彩色图像及相应的深度图像，其中所述深度相机被定位成使得所述待测位置位于所述深度相机的视野范围内；从所述第一彩色图像及相应的深度图像提取待测位置三维坐标；以及利用用于将深度相机坐标系转换成主相机坐标系的平移矩阵和旋转矩阵，将所述待测位置三维坐标转换为所需的待测位置图像坐标，其中所述平移矩阵和旋转矩阵是通过在所述主相机和所述深度相机之间进行标定来确定的。

在一种实现中，所述待测位置位于所述主相机的正后方，并且所述深度相机被定位在与所述主相机正对的位置。

在一种实现中，所述待测位置为待测位置区域，并且所述待测位置图像坐标包括所述待测位置区域的每一边界点的图像坐标。

在一种实现中，所述待测位置为待测位置点，并且所述待测位置图像坐标包括所述待测位置点的图像坐标。

在本申请的第二方面，提供了一种主相机与深度相机之间的标定方法，其中，所述深度相机被定位成使得所述主相机不可见的预期待测位置位于所述深度相机的视野范围内，所述标定方法包括：从所述主相机获取标定板的第一表面的多个第二彩色图像，并从所述深度相机获取所述标定板的第二表面的多个第三彩色图像及相应的深度图像；基于每一第二彩色图像，确定所述标定板上的多个特征点的多个特征点图像坐标；基于每一第三彩色图像及相应的深度图像，确定所述多个特征点的多个特征点三维坐标；以及基于所确定的所有特征点三维坐标以及所确定的所有特征点图像坐标，计算用于将深度相机坐标系转换成主相机坐标系的平移矩阵和旋转矩阵。

在一种实现中，所述标定板置于所述主相机和所述深度相机之间，并且所述标定板的所述第一表面位于所述主相机的视野范围内，所述标定板的所述第二表面位于所述深度相机的视野范围内，并且其中所述标定板的所述第一表面包括所述多个特征点，并且所述标定板的所述第二表面包括与所述多个特征点相关的多个标记点。

在一种实现中，所述多个第二彩色图像是在所述标定板分别处于多个不同位姿时，由所述主相机捕捉到的，并且所述多个第三彩色图像及相应的深度图像是在所述标定板分别处于所述多个不同位姿时，由所述深度相机捕捉到的。