[发明专利]一种基于2D相机与3D相机的图像配准方法及系统

说明书

本发明涉及一种基于2D相机与3D相机的图像配准方法及系统，根据获取的2D相机的灰度图像和3D相机的深度图像，分别对2D相机和3D相机进行标定，根据标定结果计算出2D相机坐标系到3D相机坐标系的第一变换矩阵，以及特征点在2D相机灰度图像像素坐标系上的坐标和在3D相机深度图像像素坐标系上的坐标，进而计算出2D相机灰度图像像素坐标系到3D相机深度图像像素坐标系的第二变换矩阵，根据第二变换矩阵对2D相机灰度图像和3D相机深度图像进行匹配，实现配准。本发明的技术方案计算量少、计算速度快，能够快速实现2D相机灰度图像到3D相机深度图像的配准，并且配准精度高，能够实现三维物体的信息获取，简单高效。

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种基于2D相机与3D相机的图像配准方法及系统。

背景技术

图像配准是将不同时间、不同传感器或不同条件下获取的两幅或多幅图像进行匹配、叠加的过程。其中，计算图像空间的坐标变换参数至关重要。

3D相机因具有深度信息、能够测量目标物体的形状而被广泛应用于测量、检测等工作中，但是3D相机获得的2D图像分辨率较低，不利于后续2D定位算法的应用，无法对目标物体的表面进行精确检测。因此，为了获得目标物体的准确信息，将2D相机与3D相机组合起来进行检测，首先通过2D相机获取目标物体的灰度图像，再通过3D相机获取目标物体的深度图像，将灰度图像和深度图像进行配准获得目标物体的三维信息。现有技术中的图像配准方法，通常先分别采集两张图像中的特征点进行匹配，再对相互匹配的特征点进行计算获得图像空间的坐标变换参数，根据坐标变换参数进行匹配，但是配准过程中计算量大、耗时长，配准精度不高，不利于工业生产应用。

发明内容

为了减少2D相机灰度图像和3D相机深度图像配准过程中的计算量和配准时间，提高配准精度，本发明提供一种基于2D相机与3D相机的图像配准方法及系统。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供了一种基于2D相机与3D相机的图像配准方法，所述方法包括：

步骤1：获取2D相机采集的目标物体的灰度图像，以及3D相机采集的所述目标物体的深度图像。

步骤2：根据所述灰度图像标定出所述2D相机的第一内参矩阵和第一外参矩阵，根据所述深度图像标定出所述3D相机的第二内参矩阵和第二外参矩阵。

步骤3：提取所述目标物体上的一个特征点，根据所述第一外参矩阵确定所述特征点在2D相机坐标系上的第一坐标，并根据所述第二外参矩阵确定所述特征点在3D相机坐标系上的第二坐标，根据所述第一坐标和所述第二坐标获得所述2D相机坐标系到所述3D相机坐标系的第一变换矩阵。

步骤4：根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标，根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标，根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵。

步骤5：根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。

第二方面，本发明提供了一种基于2D相机与3D相机的图像配准系统，所述系统包括：

获取模块，获取2D相机采集的目标物体的灰度图像，以及3D相机采集的所述目标物体的深度图像。

标定模块，根据所述灰度图像标定出所述2D相机的第一内参矩阵和第一外参矩阵，根据所述深度图像标定出所述3D相机的第二内参矩阵和第二外参矩阵。