[发明专利]一种异构多相机成像系统的快速图像配准方法

权利要求书

1.一种异构多相机成像系统的快速图像配准方法，其特征在于，包括：

预标定过程，包括步骤S1和S2，其中：

S1，根据异构多相机系统采集的多组不同位置姿态的清晰棋盘格标定板图像，使用张正友标定算法确定每个相机的内部参数和畸变系数；

S2，选定参考相机坐标系，使用双目视觉立体标定算法依次确定每个相机坐标系相对于参考相机坐标系的空间位置变换关系；

所述预标定过程所确定的每个相机的内部参数和畸变系数、所确定的每个相机坐标系相对于参考相机坐标系的空间位置变换关系作为常量进行存储；

执行所述异构多相机成像系统的快速图像配准方法时，首先读取预标定过程所存储的所述常量，并设定目标距离，然后执行步骤S3和S4，其中：

S3，根据异构多相机系统的相机内部参数、畸变系数、相机坐标系间的空间位置变换关系以及设定的目标距离，求解每个相机图像平面相对于参考相机图像平面的像素级坐标变换关系，并构建相应的坐标映射关系查找表；

S4，根据异构多相机系统中每个相机的坐标映射关系查找表，将每个相机采集的原始图像变换至参考相机的图像平面，从而实现快速图像配准；

将每个相机对应的变换至参考相机的各个图像平面进行多谱段融合展示；

其中，所述异构多相机系统的每个相机是由光学镜组和图像传感器组成的成像系统，各相机的光学镜组构成光学镜组阵列，各相机的图像传感器构成图像传感器阵列单元；所述光学镜组阵列选用滤光片阵列时，构成异构多光谱相机系统，所述滤光片阵列由不同通道的窄带滤波片构成；图像传感器阵列单元由同型号的图像传感器构成；

每个相机的内部参数矩阵C_i可以表示为，其中f_x＝f/d_x和f_y＝f/d_y代表以像素为单位的焦距，f表示相机的焦距，d_x和d_y为图传感器单个像元尺寸，c_x和c_y代表相机主点坐标；

每个相机的畸变系数矩阵D_i可以表示为[k_i1，k_i2，k_i3，p_i1，p_i2]，其中[k_i1，k_i2，k_i3]代表径向畸变系数，[p_i1，p_i2]代表切向畸变系数；

所述步骤S2的具体实现过程为：

选择异构多相机系统的某个相机作为参考相机，以其坐标系作为参考坐标系；

使用双目视觉立体标定算法依次计算每个相机坐标系相对于参考相机坐标系的空间位置变换关系，包括旋转矩阵和R_0i和平移矩阵T_0i，其中下标“0”和“i”分别代表参考相机和第i个相机；

所述步骤S3的具体实现过程为：

首先，根据下面的公式将参考相机图像平面坐标系下的理想无畸变点p₀(u，v)投影至世界坐标系P₀(X₀，Y₀，Z₀)：

其中，Z₀表示设定的目标距离，C₀表示参考相机的内参矩阵，上标“-1”表示矩阵的逆，上标“T”表示矩阵的转置，[u，v]取值范围在图像分辨率范围之内；

接着，根据下面的公式将目标点的世界坐标P₀(X₀，Y₀，Z₀)变换到异构多相机系统的其他各个相机的物理坐标系，得到相应的物理坐标点P_i(X_i，Y_i，Z_i)：

[X_i，Y_i，Z_i，1]^T＝[R_0i|T_0i][X₀，Y₀，Z₀，1]^T

其中，[R_0i|T_0i]表示参考相机坐标系和第i个相机坐标系之间的变换矩阵，R_0i代表旋转矩阵，T_0i代表平移矩阵；

然后，根据下面的公式将各个相机坐标系下的物理坐标点P_i(X_i，Y_i，Z_i)投影至相应相机的图像平面坐标系，得到像素级坐标p_i(u_i，v_i)：

[X′_i，Y′_i]＝[X_i/Z_i，Y_i/Z_i]

[u_i，v_i，1]^T＝C_i[X″_i，Y″_i，1]^T

其中，[X′_i，Y′_i]为P_i的归一化坐标，[X″_i，Y″_i]为[X′_i，Y′_i]的畸变物理坐标；[k_i1，k_i2，k_i3，p_i1，p_i2]表示第i个相机的畸变参数，[k_i1，k_i2，k_i3]代表径向畸变参数，[p_i1，p_i2]代表切向畸变参数，C_i表示第i个相机的内参矩阵；

最终，构建每个相机图像平面相对于参考相机图像平面的像素级坐标变换关系，即坐标映射关系查找表MAP_i，可表示为：

MAP_i(u，v)＝[u_i，v_i]^T；

所述步骤S4中将每个相机采集的原始图像变换至参考相机的图像平面，可表示为：

其中，和分别表示第i个相机采集的原始图像和配准后的图像。