[发明专利]生成立体视频深度图的方法及装置

说明书

技术领域

本发明涉及图像处理技术领域，特别涉及一种生成立体视频深度图的方法及装置。

背景技术

交互式立体视频是一种全新的交互式多媒体形式，其允许用户自主地选择观看的视角以获得所感兴趣的立体视频内容。交互性立体视频系统具有自然场景或虚拟场景的三维沉浸视觉感受、无缝式视点切换与灵活的人机交互特性。交互式立体视频的研究已经吸引了广泛关注并成为研究热点。

交互式立体视频的场景捕获过程往往使用多视点采集的方式，为了能向人们以交互式的方式多角度地显示具有临境感的场景图像，客户端需要在展示重建多视点图像的基础上，绘制出虚拟视点图像以实现平滑的人机交互过程。关于虚拟视点图像的绘制技术有许多种，其中利用深度图进行绘制是最为重要的手段。深度图可以有效地表示场景对图像的三维空间信息，在客户端根据用户需要绘制出高质量的各虚拟视点图像，减少需要编码传输的视点数量，节省存储空间与传输带宽。

其中，深度图可以通过深度相机获取或由多路视频信号计算生成。但是，深度相机价格昂贵而且获得的深度图的精度不足。因此，现有技术通常由多路视频信号计算生成深度图。

现有的基于分割的深度图生成方法一般采用过分割的做法，使得单个分割区域尽可能细小，从而避免深度图精度的降低，但是这会导致全局优化具有很高的计算复杂度。

发明内容

本发明的目的旨在至少解决上述技术缺陷。

为达到上述目的，本发明一方面提出一种生成立体视频深度图的方法，包括以下步骤：对与当前视角相邻的两路视频帧进行立体匹配以获得预定的搜索范围内的视差值的匹配代价；对所述当前视角的视频帧进行基于颜色的分割以获得多个第一分割单元；根据所述当前视角的视频帧的运动信息对所述多个第一分割单元进行融合以获得多个第二分割单元；以每个第二分割单元为结点，对所述视差值进行全局优化以获得每个结点的最优视差值；以及将所述最优视差值转换为深度值，并根据所述深度值构建深度图。

在本发明的一个实施例中，所述预定的搜索范围内的视差值的匹配代价Cost(i，j，l)通过以下的公式获得，

Cost(i，j，l)＝|p(i，j)-q(i，j+l)|，l∈预定的搜索范围，

其中，p(i，j)为一路视频中的像素点，q(i，j+l)为另一路视频中的像素点，l为p(i，j)与q(i，j+l)之间的视差值。

在本发明的一个实施例中，根据所述第二分割单元中所有像素点的匹配代价和构建优化目标函数，以对所述视差值进行优化。

在本发明的一个实施例中，所述当前视角的视频帧与所述与当前视角相邻的两路视频帧属于同一时刻。

在本发明的一个实施例中，所述当前视角的视频帧的运动信息通过运动搜索的方法获得，或者由外部输入。

在本发明的一个实施例中，对相邻且运动信息一致的第一分割单元进行合并以获得第二分割单元。

本发明另一方面还提出一种生成立体视频深度图的装置，包括：匹配单元，用于对与当前视角相邻的两路视频帧进行立体匹配以获得预定的搜索范围内的视差值的匹配代价；分割单元，用于对所述当前视角的视频帧进行基于颜色的分割以获得多个第一分割单元；融合单元，用于根据所述当前视角的视频帧的运动信息对所述多个第一分割单元进行融合以获得多个第二分割单元；优化单元，用于以每个第二分割单元为结点，对所述视差值进行全局优化以获得每个结点的最优视差值；以及构建单元，用于将所述最优视差值转换为深度值，并根据所述深度值构建深度图。

本发明通过根据运动信息对细小的分割区域进行自适应融合，可以在保证深度图的精度的同时，大幅度地降低计算复杂度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的生成立体视频深度图的方法的流程图；

图2为本发明一个实施例的视差值与深度值的关系示意图；

图3为本发明实施例的生成立体视频深度图的装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示为本发明实施例的生成立体视频深度图的方法的流程图，包括以下步骤：