[发明专利]3D视频中左右视点间帧同步性的检测与保证方法

说明书

技术领域

本发明涉及双眼立体视觉领域，具体地说，是涉及3D视频中左右视点间帧同步性检测与保证的方法。

背景技术

近年来，3D产业蓬勃发展，3D节目已经走进了千家万户中。一些观众在观看3D后，出现了诸如眩晕、眼球发涨的不舒适症状。目前，有关影响3D节目舒适性的因素还在研究中。3D节目中左右视点间对应帧不同步现象是影响3D观看舒适性的一个因素。

在使用两部独立的摄像机进行3D视频拍摄时，无论如何调节摄像机参数，几乎不可能在时域上保证左右两路视频帧严格同步成像，这样就导致3D视频中的左右视点间的帧同步性问题。对于左路视频中的某帧图像，右路视频中与其最佳匹配的可能并不是原始对应帧，而是原始对应帧的近邻帧。通过检测3D视频中左右视点间的同步性，进而对一些存在同步性问题的3D视频片段进行对应帧关系的调整，就可以达到改善此类3D视频观看舒适性的效果。此外，在传输3D视频时，如果出现丢帧的现象，也会造成此类同步性问题的发生，进而影响观看舒适性。

经过对现有技术文献的检索发现，关于3D视频双视点同步性的检测方面，其中代表性的论文为Lutz Goldman等人发表在ICIP（International Conference on Image Processing，国际图像处理大会）的“Temporal Synchronization in Stereoscopic Video:Influence on Quality of Experience and Automatic Asynchrony Detection（立体视频中的时域同步：感受质量影响及自动异步检测）”。论文中对3D节目双视点异步性带来的观看舒适性影响做了主观质量评价实验，并尝试通过先对图像分块，接着运用典型相关分析的方法，进行3D多视点同步性的检测。

又经检索发现，中国发明专利“3D同步信号相位的调试装置和检测方法”（中国专利公开号为102724538A）中提到了3D同步性的检测方法。另有一些中国发明专利，诸如“一种内置的3D同步信号发射装置”（中国专利公开号为202385227U），“一种多屏3D同步显示的方法、装置及系统”（中国专利公开号为101236485），也提及了3D视频中的双视点同步性检测与保证的问题。

然而上述论文采用的统计学来进行同步性检测，相关的专利或者是通过相位问题来考虑3D视频中的同步性问题，更多的是从硬件上面进行同步性检测与保证，改善此类节目的观看舒适性的效果还可进一步提高。

发明内容

针对现有技术的不足，本发明的目的在于提供一种3D视频中左右视点间帧同步性检测与保证方法，解决3D视频中存在的左右视点间对应帧成像不同步的问题，进而改善此类节目的观看舒适性。

为实现上述的目的，本发明采用的技术方案是：

一种3D视频中左右视点间帧同步性检测与保证方法，首先选取3D视频左中某帧为参考帧，对该参考帧进行前景区域和背景区域分割，然后选取右路原始视频中与左路参考帧对应帧及其前后几帧作为右路同步检测帧，分别对左路参考帧与右路各同步检测帧间针对前景和背景区域进行左右视点间旋转关系的分析与提取，最后利用得到的旋转矩阵参数来计算同步性评价函数，从而找出左右视频间最佳的匹配帧及对应同步位置关系。

本发明方法具体包括如下步骤：

第一步，针对需要检测的3D视频，对于左右视点图像，获得匹配信息，包括如下步骤：

1），对于待检测3D视频，首先选取左路视频中某一帧为参考帧；

2），针对左路视频中选定的参考帧图像，进行前景和背景区域的分割；

3），选取右路原始视频中与左路参考帧对应的帧及其前后几帧作为右路同步检测帧；

4），将左路视频参考帧中的前景区域与右路视频各同步检测帧进行匹配，获得与前景区域相关的匹配信息，将左路视频中的背景区域与右路视频各同步检测帧进行相同的处理也可以获得相应的仅与背景区域相关的匹配信息。

第二步，利用左右图像间前景与背景间的匹配信息，计算相应的旋转矩阵参数，进而获得相应的同步性评价函数值，为选取最佳匹配帧提供判断依据，包括如下步骤：

1），利用前景区域的匹配信息，根据对极几何中的相关理论，提出求取旋转矩阵参数的代价函数；

2），运用Levenberg-Marquardt算法进行代价函数的优化，找到关于前景和背景区域的旋转矩阵参数；