[发明专利]3D视频中左右视点间帧同步性的检测与保证方法

权利要求书

1.一种3D视频中左右视点间成像同步性的检测与保证方法，其特征在于包括如下步骤：

第一步，针对需要检测的3D视频，对于左右视点图像，获得匹配信息：

1），对于待检测3D视频，首先选取左路视频中某一帧为参考帧；

2），针对左路视频中选定的参考帧图像，进行前景和背景区域的分割；

3），选取右路原始视频中与左路参考帧对应的帧及其前后几帧作为右路同步检测帧；

4），将左路视频参考帧中的前景区域与右路视频各同步检测帧进行匹配，获得与前景区域相关的匹配信息，将左路视频中的背景区域进行与右路视频各同步检测帧进行相同的处理，得相应的仅与背景区域相关的匹配信息；

第二步，利用左右图像间前景与背景间的匹配信息，计算相应的旋转矩阵参数，进而获得相应的同步性评价函数值，为选取最佳匹配帧提供判断依据：

1），利用前景区域的匹配信息，根据对极几何中的相关理论，提出求取旋转矩阵参数的代价函数；

2），运用Levenberg-Marquardt算法进行代价函数的优化，找到关于前景和背景区域的旋转矩阵参数；

3），制定利用旋转矩阵参数来判断最优帧的同步性评价函数，将求得的参数带入，找到最佳匹配帧，纠正待检3D视频中对应帧不同步性的问题。

2.根据权利要求1所述的3D视频中左右视点间成像同步性的检测与保证方法，其特征在于：所述方法具体操作步骤如下：

1），对于待检测的3D视频序列，选取左路视频中的某一帧为参考帧，记为L_x，对其前景区域和背景区域进行分割；针对左路视频中的参考帧L_x,将其前景区域和背景区域分别记为L_fx和L_bx；

2），对于L_x，从右路原始视频中选出与L_x对应的帧R_x及该帧时间上连续的前后各I帧R_x+i,(i＝-I,…,I)，形成同步检测帧窗；利用SIFT特征点匹配算法，分别对L_fx与R_x+i进行匹配，得到一系列匹配点对，这些匹配点仅仅出现在前景区域中；同理，用L_bx与R_x+i进行匹配后，匹配点只能出现在背景区域中，这样就分别得到了与前景和背景相关的匹配信息；

3），利用对极几何中的基础矩阵F与旋转矩阵的关系式：

F=Kr-TR[Cr]×Kl-1]]>

其中K_l、K_r为理想情况下的左右摄像机内参矩阵，R为两部摄像机摄影平面之间的旋转关系矩阵，C_r为右摄像机中心相对于左摄像机中心的坐标，关系式中代表矩阵K_r的转置后求逆的矩阵；

设左帧中的某个SIFT检出点为x_j，j为SIFT检测到的特征点标号，其在右帧中的对应点为x′_j，在理想情况下，左图中的点x_j应该在极线l_j＝F^Tx′_j上，右图中的点x′_j应该在极线l′_j＝Fx_j上，所以利用Levenberg-Marquardt算法，选取以总对称转移误差作为代价函数F_e：

Fe=Σjd(xj′,Fxj)2+d(xj,FTxj′)2]]>

其中，d(·)表示计算点到直线间的距离；将基础矩阵F与旋转矩阵R的算式带入到求取代价函数F_e的公式中，通过使代价函数最小化，得到旋转矩阵R中参数的取值；针对一个3×3的旋转矩阵，将其中所包含的3个旋转角度分离出来，分别记为α、β和γ，通过旋转角β和γ的旋转，使左右摄像机的成像平面处在同一个平面上，进一步通过旋转角α的旋转，确保左右帧中的极线保持平行；

4），用于测试的3D序列均是背景静止的，而前景为运动目标；针对同步检测窗中各帧，计算得到如下同步性评价函数F_i：

Fi=(αfi-α‾b)2+(βfi-β‾b)2+(γfi-γ‾b)2,(i=-I,...,I)]]>

其中，和为通过SIFT前景匹配获得的旋转角，而和为通过SIFT背景匹配获得的旋转角，作为参考旋转角度；鉴于测试3D序列背景静止的特点，通过计算多组背景旋转角度，然后取平均的方法，来保证背景提取的旋转参数的准确性，即：

α‾b=12I+1Σi=-IIαbiβ‾b=12I+1Σi=-IIβbiγ‾b=12I+1Σi=-IIγbi]]>

在上式中，I的大小决定了选取待匹配帧的范围，采用以原始对应帧为中心，对称地进行选取，形成同步检测帧窗；找出能够使同步性评价函数F_i达到最小值的帧，即认为此帧为与左路视频中参考帧L_x在时域上是同步性最好的帧；当评价函数F_i达到最小时，说明左帧L_x与右路视频各同步检测帧中R_x+i的前景与背景的对极关系一致性最好，即时域上这左右两帧最为匹配，找到了最优帧位置，此3D视频片断中左右视点的同步关系就得到了，最终，改善此类3D视频的观看舒适性。