[发明专利]一种实时彩色及深度全景图像拼接方法

权利要求书

1.一种实时彩色及深度全景图像拼接方法，其特征在于，包括如下步骤：

1)将每个Kinect捕获的彩色图和深度图对齐；

2)对任意一组X型Kinect组的彩色图进行拼接，根据平均结构相似度，即MSSIM，优选X型Kinect组的配准参数；

3)根据步骤2)所选的配准参数，对剩下的所有X型Kinect组获得的彩色图像和深度图像进行图像变换、图像融合，得到彩色广角图和深度广角图；

4)对任意一组V型Kinect组所对应的彩色广角图进行拼接，根据平均结构相似度优选V型Kinect组的配准参数；

5)根据步骤4)所选的配准参数，对剩下的所有V型Kinect组所对应的彩色广角图和深度广角图进行图像变换、图像融合，得到彩色全景图和深度全景图；

所述步骤2)和步骤4)中的基于平均结构相似度的配准参数优选方法，具体为：

结构相似度，即SSIM分别从亮度、对比度、结构这三个方面来衡量图像的相似性，假设X、Y是要进行相似度评判的两幅图像，则它们之间的亮度、对比度、结构这三个方面的相似性表达式如下：

其中，μ_X和μ_Y分别表示图像X和Y的均值，σ_X和σ_Y分别表示图像X和Y的方差，σ_XY表示图像X和Y的协方差；C₁、C₂、C₃为常数，为避免分母为0的情况，通常取C₁＝(K₁×L)²，C₂＝(K₂×L)²，C₃＝C₂/2，一般取K₁＝0.01,K₂＝0.03,L＝255，则：

SSIM(X，Y)＝l(X，Y)×c(X，Y)×s(X，Y)

SSIM取值范围为[0,1]，取值越大，则图像间的失真越小，相似度越高；在实际应用中利用滑动窗口将图像分为N块，考虑到窗口形状对分块的影响，采用高斯加权计算每一窗口的均值、方差和协方差，然后再计算SSIM，最后取平均值作为两图像结构相似性的度量，即MSSIM：

在计算MSSIM的过程中，利用配准参数变换后的图像和原始图像的大小会存在差异，因此需要先将原始图像的大小变换至对应的变换后的图像的大小；对于彩色图，将所有图像通路BGR三个通道的MSSIM的均值作为最终的评价结果；当拼接算法在初始化拼接参数的时候会产生多组拼接参数，利用MSSIM的评价标准取得MSSIM估值最大的一组拼接参数作为配准参数。

2.根据权利要求1所述的实时彩色及深度全景图像拼接方法，其特征在于，所述步骤1)中的深度图和彩色图对齐方法，具体为：

a)经推导，得到Kinect的深度相机坐标系到彩色相机坐标系之间的转换关系如下式所示：

r＝R_colorR^-1_depth

t＝T_color-RT_depth

其中，R为旋转矩阵，T为平移矩阵，H为相机内参矩阵，p为空间点在二维图像平面的投影点坐标，Z为图像在p点处的像素值，参数下标color和depth分别标识该参数是和彩色相机坐标相关，还是和深度相机坐标相关；r和t是联系Kinect彩色相机和深度相机的外参，即旋转矩阵和平移矩阵；

b)分别对Kinect的彩色相机和深度相机进行标定，获取彩色相机的内参矩阵H_color，深度相机的内参矩阵H_depth；

c)对同一个Kinect的深度相机和彩色相机进行双目标定，获取彩色相机的旋转矩阵R_color、平移矩阵T_color和深度相机的旋转矩阵R_depth、平移矩阵T_depth，进而获得旋转矩阵r和平移矩阵t，将相机参数和未对齐的深度图Z_depthp_depth代入上述公式，得到的Z_colorp_color即为所需的与彩色图配准后的深度图像。