[发明专利]基于不同相机间距的立体图像克隆方法

权利要求书

1.一种基于不同相机间距的立体图像克隆方法，其特征是，首先进行图像预处理，之后处理用户绘制的轮廓以便进行后续的网格变形，之后通过调整视差来调整立体图像克隆区域的形状和大小，最后将调整后的立体图像克隆区域融合到目标图像中，其中，调整视差来迭代调整立体图像克隆区域的形状和大小即迭代优化变形，具体步骤是，

1)视差调整

调整方式如下：采用源图像克隆区域的视差图梯度场作为求解下式的引导场G₀，同时迫使调整后的源图像克隆区域边缘的视差和目标立体图粘贴区域边缘的视差相同，通过求解下述加权泊松等式的最小值获得调整后的源图像克隆区域的视差图

其中是为源图像克隆区域制定的权重函数，用于惩罚平滑的区域，D_T表示目标图像视差图，表示源图像克隆区域的轮廓，表示调整后的源图像克隆区域的视差图的梯度场；

2)基于四边形网格的优化变形

2.1场景物体大小与视差的关系

假定立体相机摄像头平行设置，根据几何关系及相似三角形定理，推导出场景物体深度z和相机间距b之间的关系为：

其中，b表示立体相机间距，f表示相机焦距，z表示场景物体的深度，d＝x_L-x_R表示图像视差，x_L和x_R表示同一场景物体在左视点图像和右视点图像的对应横坐标；

根据几何关系及相似三角形定理，推导出场景物体在立体图像平面上的大小与场景物体深度之间的关系为

其中，L表示场景物体的大小，x表示场景物体在图像平面上的大小，由此推导出场景物体在立体图像平面上的大小x与图像视差d之间的关系为：

由上式可知，场景物体L在立体图像上的大小x与图像视差d及立体相机间距b有关，而与立体相机焦距f无关；

对于同一场景物体L₁，其在源图像上和目标图像上的大小分别为x₁和x₂，视差分别为d₁和d₂，双目立体相机间距分别为b₁和b₂，得下述公式：

由上述两式可得，相机间距不一致时同一场景物体在源图像和目标图像上的缩放关系为：

由此，场景物体在立体图像上的大小不仅与图像视差有关，而且与立体相机的相机间距有关；

2.2优化变形

采用透视缩放项、直线约束项、视差一致项、垂直对齐项和位置固定项的权重组合来指导四边形网格变形，其中V^l和V^r表示优化变形前的左视点图像网格顶点和右视点图像网格顶点，和表示优化变形后的左视点图像网格顶点和右视点图像网格顶点；

(1)透视缩放项定义透视缩放因子为

其中，和分别表示源图像克隆区域调整后的视差和调整前的视差，b_S和b_T分别表示拍摄源图像的立体相机间距和拍摄目标图像的立体相机间距，V_i^l表示优化变形前的左视点图像网格的第i个顶点坐标；

对于源图像克隆区域左视点图像的任意网格边其中，V_i^l和分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，其缩放因子定义为

其中，和分别表示优化变形前的左视点图像网格的第i和第j个顶点的透视缩放因子；

透视缩放项定义为

其中，E^l和E^r分别表示源图像克隆区域左视点图像网格边和右视点图像网格边的集合；V_i^l和分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，V_i^r和分别表示优化变形前的右视点图像网格的第i和第j个顶点坐标；和分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标，和分别表示优化变形后的右视点图像网格的第i和第j个顶点坐标；S_ij表示网格边的缩放因子；

(2)直线约束项

为源图像左视点图像的网格边定义变形后与变形前的长度比为

其中，V_i^l和分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，和分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标；

用相同的方法定义源图像右视点图像的长度比

直线约束项定义为

其中，E^l和E^r分别表示源图像克隆区域左视点图像网格边和右视点图像网格边的集合，V_i^l和分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，V_i^r和分别表示优化变形前的右视点图像网格的第i和第j个顶点坐标；和分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标，和分别表示优化变形后的右视点图像网格的第i和第j个顶点坐标；

(3)视差一致项

对于每组待计算的水平坐标分量其视差应与调整后的视差保持一致，令表示调整后的视差，视差一致项定义为

其中，表示左视点图像待计算的水平坐标，表示右视点图像待计算的水平坐标；

(4)垂直对齐项

对于每组待计算的垂直坐标分量应使其调整后趋近于0，从而消除垂直视差的影响，垂直对齐项定义为

其中，表示左视点图像待计算的垂直坐标，表示右视点图像待计算的垂直坐标；

(5)位置固定项

为防止源图像克隆区域的中心位置发生改变，引入位置固定项固定源图像克隆区域左网格的中心位置，令表示初始左网格的中心位置，其中，V^l表示初始的左视点图像网格顶点坐标，V_i^l表示初始的左视点图像网格的第i个顶点坐标，位置固定项定义为

其中，表示优化变形后的左视点图像网格顶点坐标，表示优化变形后的左视点图像网格的第i个顶点坐标；

优化变形的总能量定义为五个能量项的权重加和，其中五个能量项为透视缩放项、直线约束项、视差一致项、垂直对齐项、位置固定项，权重加和表示为：

Φ＝ω_sΦ_s+ω_lΦ_l+ω_dΦ_d+ω_vΦ_v+ω_dΦ_d

其中，Φ_s、Φ_l、Φ_d、Φ_v和Φ_d分别表示透视缩放能量、直线约束能量、视差一致能量、垂直对齐能量和位置固定能量，ω_s、ω_l、ω_d、ω_v和ω_d为上述能量对应的权重系数；通过求解总能量函数的最小值获得优化变形网格。