[发明专利]双视点视频到多视点视频的实时自适应生成方法

说明书

技术领域

本发明涉及视频、基于左右视点的中间虚拟视点生成技术领域，具体讲，涉及双视点视频到多视点视频的实时自适应生成方法。

背景技术

目前，多视点立体图像的实时获取方法与技术仍然是多视点自由立体成像技术尚未解决的瓶颈问题。要实时采集多个视点的立体图像，通常的做法是用平行排列的N个摄像机同时拍摄同一场景，从而来获得不同位置(视点)的N幅图像。但这种方法本身存在许多问题：(1)系统笨重，实时采集不方便，只能用于固定场景的多视点立体图像获取。(2)由于舒适容像的需要，对多个摄像机的光学参数和成像参数的一致性程度提出了非常高的要求，给校准、光学系统的调整带来了很大的难度。(3)采集到的多视点图像数据量过大，不利于压缩、传输和存储。

虚拟视点生成是指利用两个或多个摄像机拍摄的同一场景的图像通过插值生成此场景其他各个视点的图像，利用较少的设备获取场景深度，从而能够有效的减轻摄像机校正的误差，满足多视点自由立体显示的需求。

虚拟视点生成作为立体显示关键技术之一，成为该领域研究的热点。Eric Chen提出一种基于摄相机的位置方向参数和图像的像素深度信息的虚拟视点图像生成方法，由于需预先提供相机参数和深度信息，这种方法在应用上有很大局限性。McMillan提出一种通过重投影拼接生成新视点图像的方法，它假定采集的图像都是以相同的摄像机内参数拍摄的，而这是不可能实现的，因此，在应用中也存在局限性。Seitz提出了一种可以作为生成新视点图像的原理框架算法，但在实际应用中，受图像像素匹配精度影响，所得图像质量并不好。并且，该方法只适应摄像机环绕景物运动采集的源图像，对摄像机前后运动采集的图像无能为力。大连理工大学的胡志萍在其博士论文《图像特征提取匹配和新视点图像生成技术研究》中提出一种基于摄像机横向和纵向移动采集的图像生成新视点图像的方法，该方法采用了动态规划的匹配方法，复杂度较高，插值生成后的图像还得进过后变换来得到最后的虚拟视点图像。预变换和后变换都会有偏差，导致最后得到的并不是真正虚拟视点处的图像。

发明内容

为克服现有技术的不足，提供一种使用较少摄像机即能实现多视点立体图像的实时获取方法，本发明采取的技术方案是，双视点视频到多视点视频的实时自适应生成方法，包括下列步骤：

1、空域深度匹配

a)以左视点图像上某一像素点为中心进行十字搜索，搜索边界由Canny边缘检测算子获得，确定匹配窗口；

b)在右视点图像对应点的某一水平范围内，进行十字搜索，进而获得若干待匹配窗口；将匹配窗口与若干待匹配窗口进行区域对比，取公共交集部分区域，得到若干个交集区域；

c)设计能量函数，将匹配窗口、待匹配窗口、额外补偿信息代入能量函数进行计算，选择能量函数最小值对应的待匹配窗口，得到初始视差赋给左视点对应的深度图点；

d)区域视差精细化，根据连续性和一致性准则设计矫正函数，纠正初始视差图中分配错误的视差；

2、时域深度匹配

a)利用背景/前景分割结果，对于背景区域继承上一帧的深度信息；

b)对于前景区域，重新利用基于十字搜索方法确定前景区域中的自适应窗口，并在另一个视点图像上进行匹配，求得更新的深度；

3.中间虚拟视点的生成

a)对视点深度图按照中间视点的空间几何关系进行视差分配，形成N+1份视差，作为视点插值的参数；

b)利用标准深度图进行虚拟视点生成，通过视点插值生成中间6个虚拟视点。

所述在右视点图像对应点的某一水平范围内，进行十字搜索，进而获得若干待匹配窗口；将匹配窗口与若干待匹配窗口进行区域对比，取公共交集部分区域，得到若干个交集区域，具体步骤是，以左视点图像上某一像素点为中心进行十字搜索，搜索边界由Canny边缘检测算子获得，确定匹配窗口，若为左视点canny图I每一个像素p＝(x_p，y_p)，同样对于右视点canny图I′的p′，建立一个十字，十字分为水平部分H(p)和垂直部分V(p)；需要自适应地确定四个参数即十字的左、右、上、下的长度：