[发明专利]一种基于2D相机与3D相机的图像配准方法及系统

权利要求书

1.一种基于2D相机与3D相机的图像配准方法，其特征在于，所述方法包括：

步骤1：获取2D相机采集的目标物体的灰度图像，以及3D相机采集的所述目标物体的深度图像；

步骤2：根据所述灰度图像标定出所述2D相机的第一内参矩阵和第一外参矩阵，根据所述深度图像标定出所述3D相机的第二内参矩阵和第二外参矩阵；

步骤3：提取所述目标物体上的一个特征点，根据所述第一外参矩阵确定所述特征点在2D相机坐标系上的第一坐标，并根据所述第二外参矩阵确定所述特征点在3D相机坐标系上的第二坐标，根据所述第一坐标和所述第二坐标获得所述2D相机坐标系到所述3D相机坐标系的第一变换矩阵；

步骤4：根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标，并根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标，根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵；

步骤5：根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。

2.根据权利要求1所述的基于2D相机与3D相机的图像配准方法，其特征在于，所述步骤2的具体实现为：

基于张氏标定算法，根据所述灰度图像计算出所述第一内参矩阵，所述第一内参矩阵表示为M_rgbI，和所述第一外参矩阵，所述第一外参矩阵表示为M_rgbE；

基于张氏标定算法，根据所述深度图像计算出所述第二内参矩阵，所述第二内参矩阵表示为M_irI，和所述第二外参矩阵，所述第二外参矩阵表示为M_irE。

3.根据权利要求2所述的基于2D相机与3D相机的图像配准方法，其特征在于，所述特征点由P^w表示，所述步骤3的具体实现为：

根据所述第一外参矩阵M_rgbE，计算所述特征点P^w在所述2D相机坐标系上的第一坐标所述第一坐标由第一公式确定，所述第一公式为：

根据所述第二外参矩阵M_irE，计算所述特征点P^w在所述3D相机坐标系上的第二坐标所述第二坐标由第二公式确定，所述第二公式为：

结合所述第一坐标和所述第二坐标进行计算，建立所述2D相机坐标系到所述3D相机坐标系的第一变换关系，所述第一变换关系由第三公式确定，所述第三公式为：

其中，M为所述第一变换矩阵，

4.根据权利要求3所述的基于2D相机与3D相机的图像配准方法，其特征在于，所述步骤4的具体实现为：

根据所述第一内参矩阵M_rgbI和所述第一坐标计算所述特征点P^w在所述第一像素坐标系上的第三坐标所述第三坐标由第四公式确定，所述第四公式为：

根据所述第二内参矩阵M_irI和所述第二坐标计算所述特征点P^w在所述第二像素坐标系的第四坐标所述第四坐标由第五公式确定，所述第五公式为：

结合所述第一公式到所述第五公式进行计算，建立所述第一像素坐标系到所述第二像素坐标系的第二变换关系，所述第二变换关系由第六公式确定，所述第六公式为：

其中，N＝M_irIMM^-1_rgbI，N为所述第二变换矩阵。

5.根据权利要求1至4任一项所述的基于2D相机与3D相机的图像配准方法，其特征在于，还包括以下步骤：

提取多个不同的所述特征点进行计算，获得多个所述第一变换矩阵，所述第一变换矩阵与所述特征点一一对应；

基于最小二乘法，对多个所述第一变换矩阵进行优化，获得优化后的所述第一变换矩阵。