[发明专利]多视点立体视频的深度序列生成方法和装置

说明书

技术领域

本发明涉及计算机视觉和视频处理技术领域，特别涉及一种多视点立体视频的深度序列生成方法和装置。

背景技术

多视点立体视频是当前计算机视觉、图形学、图像视频处理等学科领域的研究热点，被广泛应用于影视制作、文物保护、军事模拟等领域。多视点立体视频数据由色彩、纹理、运动、深度等多维信息构成。其中深度信息的存在，使得多视点立体视频在视觉上具有强烈的真实感与沉浸感。但是，目前动态场景高精度稠密深度图的获取需要极大的计算资源，限制了需要深度信息的多视点立体视频系统的广泛应用和发展。因此，如何高效的获取稠密深度图序列，是一个亟待解决的关键问题。

视差估计的过程即为立体匹配的过程，是进行多视点立体视频深度计算的前提。目前立体匹配方法可归结为两类：基于窗口的局部方法和利用能量函数进行求解的全局方法。基于窗口的局部方法的特点是计算复杂度低，执行效率高，但得到的视差误差较大，匹配精度较低，难以满足那些对匹配精度要求较高的实际应用；而基于能量的全局方法则由于可以得到较为精确的视差值，因此受到越来越广泛的重视。基于能量的全局方法中的能量函数一般是以下两部分能量之和：首先是数据项，用来测量单个基元之间的对应性；其次是平滑项，用来约束相邻基元间视差的跳跃。构造完能量函数后，即可再利用优化算法来最小化或最大化能量函数和求得视差的最优解。目前在立体匹配中应用最为成功的优化算法是图割(GC，Graph Cut)和置信传递(BP，Belief Propagation)算法。

为了获取高精度的多视点立体视频深度序列，现有方法通常采用全局优化的方法来通过多次迭代获得最优解，但是，现有方法不仅计算复杂度高，且对硬件要求高，带来硬件成本的提高。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种多视点立体视频的深度序列生成方法，该方法通过对深度信息的有效预判，从而降低计算量，提高计算效率。另外，该方法对计算所占用的资源消耗小，对硬件要求低，节省硬件成本。

本发明的另一目的在于提出一种多视点立体视频的深度序列生成装置，该装置通过对深度信息的有效预判，从而降低计算量，提高计算效率，且对计算所占用的资源消耗小，对硬件要求低，节省硬件成本。另外，该装置结构简单，易于实现。

为了实现上述目的，本发明第一方面实施例提出的多视点立体视频的深度序列生成方法，包括以下步骤：提供多视点立体视频序列，其中，所述多视点立体视频序列的视点的数量为N，N为不小于2的整数；根据所述多视点立体视频序列构造所述多视点立体视频序列的贝叶斯模型，并根据所述贝叶斯模型确定所述多视点立体视频序列中每一帧图像中每一个像素点的深度获取方式；根据所述深度获取方式对相应的像素点进行深度赋值以得到所述每一帧图像的深度图像，其中，所述深度获取方式包括时域预测方法、视点间预测方法和深度计算方法；以及根据所述多视点立体视频序列的每个视点和所述每一帧图像的采集时间对全部所述深度图像进行整合，以得到与所述多视点立体视频序列对应的深度序列。

根据本发明实施例的多视点立体视频的深度序列生成方法，通过多视点立体视频序列中的彩色视频信息提供时域和视点间相关性信息，然后结合贝叶斯概率模型进行动态更新，对深度信息进行有效预判，从而能够降低全局优化的迭代次数，降低计算复杂度。另外，应用本发明实施例的方法得到的深度图，能够在保证深度序列数值精度的情况下，明显降低计算复杂度、使运算耗时大幅降低，提高计算效率，且该方法占用计算资源与传统方法相比较少，因此，对硬件的要求低，进而降低硬件成本。

另外，根据本发明的多视点立体视频的深度序列生成方法还可以具有如下附加的技术特征：

在本发明的一个实施例中，所述贝叶斯模型包括：时域贝叶斯模型，所述时域贝叶斯模型为根据所述多视点立体视频序列的同一视点下的所述每一帧图像的获取时间建立；视点间贝叶斯模型，所述视点间贝叶斯模型为根据所述多视点立体视频序列在同一时刻、不同视点的N个图像间的关系建立。

根据本发明的一个实施例，所述时域贝叶斯模型如下所示：

式1，

式2，