[发明专利]面向捕获静止场景的二维视频的准三维重建方法

说明书

技术领域

本发明涉及一种面向捕获静止场景的二维视频的准三维重建方法，属于计算机视觉的三维视频重建领域。

背景技术

二维(2D)视频指普通摄像机拍摄的单路视频。三维(3D)视频指用立体摄像机拍摄的两路视频。二维视频的准三维化重建主要依据双目立体视觉原理。其任务是根据二维视频中隐含的场景深度信息，重建出另外一路虚拟视点视频，以模拟双目视物过程。相关的研究工作从上世纪90年代初开始逐渐增多，主要集中在视频深度信息恢复和虚拟视点视频生成两个方向。近两年，受3D电影和电视市场需求的驱动，视频三维化重建工作成为图像和视频处理领域的研究热点。

浙江大学计算机辅助设计与计算机图形国家重点实验室采用多视点立体(MVS,Multi-View Stereo)方法求解视频深度图序列。主要流程包括：采用基于运动的结构恢复(SFM,Structure from Motion)方法恢复摄像机内外参数，利用置信传播(BP,Belief Propagation)等全局优化算法结合图像分割信息求解初始深度图序列，采用捆集调整方法优化深度图序列。该整体流程能得到较高质量视频深度图序列，但对SFM方法精度和图像分割精度都有较高要求。SFM过程中产生的误差使得BP全局优化算法传递具有较大误差的消息，这将导致深度图序列精度的降低。图像分割中的误差将使深度图序列中物体边缘处的深度值出现误差。此外，SFM、BP全局优化算法、图像分割以及捆集调整优化都要花费较多的计算时间，一方面会对三维视频重建的硬件设备提出较高要求，另外一方面也会对整个三维视频重建流程造成较大的计算时间开销。

立体匹配方法是MVS方法中只有两个视点图像的特殊情况，适用于双视点图像的视差恢复。为了满足立体匹配的极线(Epipolar Line)约束要求，可以提取视频序列中的关键帧进行极线校正，将两帧图像之间对应像素点校正到同一水平线上。通过立体匹配方法对校正后的图像对求解视差图，再对像素视差进行取倒数操作得到像素深度。目前立体匹配主要分为两大类方法：局部立体匹配和全局立体匹配。局部立体匹配对像素点逐一进行匹配，全局立体匹配借助全局能量最小化求解全局最优视差。相对于MVS方法，立体匹配方法不需要恢复摄像机参数，且优化过程需要较少的计算时间。奥地利维也纳科技大学的Bleyer等人提出了基于对象分类的全局立体匹配方法。该方法对图像中物体进行复杂的语义分析，确立每个图像块的空间隶属关系，据此构造全局立体匹配能量先验项以约束邻域像素平滑性，在图像遮挡区域恢复出优异的视差结果。此方法的缺点在于图像语义分析较为复杂且据此构造的全局能量函数较难进行优化。

极线校正可以为双目立体匹配算法提供校正后的双目立体图像对，因此成为重要的双目立体匹配预备步骤。经过极线校正后的图像对在水平方向上极线平行，对应像素点具有相同纵坐标。有摄像机标定情况下的极线校正称为欧式极线校正，这是极线校正中的理想情况，能得到高质量校正结果。欧式极线校正的缺点在于需要进行摄像机标定，这将带来较大的计算时间开销，且摄像机标定过程中产生的误差将影响极线校正结果的精度。无摄像机标定情况下的极线校正方法较多，多以欧式极线校正为目标，期望校正后的图像变形程度尽量接近欧式极线校正的理想状况。

基于深度图渲染(DIBR,Depth Image Based Rendering)的绘制技术发展得较为完善，是虚拟视点视频生成的常用方法。DIBR绘制技术主要包含三方面工作：深度图预处理，像素映射，空洞填补。加拿大通信研究中心Zhang等人提出非对称深度图滤波，降低了虚拟视点图像几何形变。深度图滤波方法较为简便且可以减小虚拟视点图像中遮挡区域的人工痕迹，但也使得深度图损失了部分边缘信息。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种面向捕获静止场景的二维视频的准三维重建方法，避免了MVS的三维视频重建方法中所需的SFM、全局优化算法、图像分割以及捆集调整优化等计算复杂度较高的操作流程，更为简单且易于操作。

本发明的面向捕获静止场景的二维视频的准三维重建方法，包括以下步骤：

步骤A、对所述静止场景二维视频中的每一帧，提取与其间隔固定帧数的另一帧，构成一对双视点图像对；

步骤B、分别对各双视点图像对进行极线校正；

步骤C、采用基于全局优化的双目立体匹配方法对极线校正后的各双视点图像对分别求解全局最优视差图；

步骤D、根据所述极线校正得到的单应矩阵，对全局最优视差图进行反校正，得到所述静止场景二维视频中各帧相应的视差图；