[发明专利]基于边缘象素特征的深度估计方法

说明书

技术领域

本发明属于通信领域，涉及三维立体视频中深度估计技术，具体的说是一种能够得到高精度的深度图的深度估计方法，从而使合成的虚拟视图在边缘部分的形成的噪声点少，有效改善合成虚拟视图的主观质量和客观质量，可应用于任意视点电视系统中。

背景技术

在传统电视系统中，用户仅能观看到三维世界中有限的视角，且其观看的视点与视角由摄像机的三维空间位置与方向决定。因此用户不能自由的选择观看的视点与视角。任意视点电视FTV系统则允许用户从不同的视角观看真实的三维空间，从而提供一种全新的更加生动、真实的三维视听系统。由于FTV能够向用户提供更加真实的交互式观看效果，因此可以被广泛应用于广播通信、娱乐、教育、医疗、视频监控等各种类型视频系统。

图1为FTV系统的主要功能模块。FTV系统发送端生成的数据包括位于多个视点的摄像机阵列拍摄得到的视频数据，以及对应的场景深度数据；FTV系统接收端则使用各种基于深度信息的虚拟视图生成技术获取用户所需的任意视点视频数据。因此，高质量深度数据的获取是实现FTV系统的关键技术之一。在目前的FTV系统中，首先使用视差估计得到视差值d，接着根据下式将视差值d转换为相应的深度值：

式中：I表示摄像机间距；f摄像机镜头的焦距；Z_near与Z_far分别表示三维场景中的物体距离摄像机的最近距离平面的深度值与最远距离平面的深度值。

目前，主要采用基于图割的全局优化来估计视差。即首先建立一个代表象素亮度非一致性以及视差非一致性的能量函数，然后采用全局优化使该能量函数最小化。

能量最小化定义了能够使视差非一致性能量函数E最小化的最佳的视差组合f，而该能量函数由对应视差象素点的亮度非一致性项和相邻象素视差非一致性项组成，如式(2)所示：

        E(f)＝E_data(f)+E_smooth(f)                (2)

式中：P表示当前视图中的象素集合，D_p衡量当前视图中的象素p在视差f_p的条件下与参考视图中的象素(p+f_p)之间的亮度非一致性，通常其中I_p表示当前视图中的象素p的亮度值，表示参考视图中的象素(p+f_p)的亮度值；而表示当前象素与其相邻象素之间的视差非一致性，其中，N表示邻近象素对的集合，V_{p，q}∈N(f_p，f_q)衡量当前视图中象素p的视差为f_p，其相邻象素q的视差为f_q时，二者视差的不一致性。若：

        V_{p，q}∈N(f_p，f_q)＝λ|f_p-f_q|                (3)

则对于较小的|f_p-f_q|，其相应的视差非一致性代价不会太大；而对于较大的|f_p-f_q|，其视差非一致性代价也会相应增加。从而所得到的最优的视差通常在相邻象素之间的视差差异不会很大。而实际上，在立体匹配问题中，由于存在视差的不连续性，特别是在物体的边缘部分，物体边缘部分的象素视差通常与其周围象素视差差异较大，因此，式(3)会造成物体边缘部分的过平滑现象，由于物体边缘部分的过平滑，会造成合成视图中边缘部分的模糊和混叠，严重影响视觉效果。

对于同一边缘的物体，它们的视差基本是相同的，即使有变化，也是连续的和缓慢的，因此式(3)具有适应性。但是，由于边缘划分的不同物体在图像中的投影，即使是相邻象素，它们也不具有视差的一致性。因而需要研究式(3)的适应性，才能产生真正有效的深度估计方法。