[发明专利]基于模型的纹理视频与深度图的最优码率分配方法

说明书

技术领域

本发明属于通信标准领域。涉及到三维立体视频中的纹理视频与深度图的联合编码技术。具体的说，是一种在固定码率的条件下，对纹理视频与深度图进行码率分配，使合成虚拟视图的质量达到最优的码率分配。

背景技术

三维视频作为未来主要的视频应用技术，是指用户通过三维视频显示设备可以享受到真实的三维视频内容。三维视频的相关技术，比如，三维视频采集、三维视频编码、三维视频的显示等技术已经得到广泛的关注。为了推动三维视频技术的标准化，2002年，运动图像专家组(Motion Picture Experts Group，MPEG)提出任意视点电视(Free View Television，FTV)的概念。它能够提供生动真实的、交互式的三维视听系统。用户可以从不同的角度观看该角度的三维视频，使得用户有融入视频场景中的真实感受。FTV可广泛应用于广播通信、娱乐、教育、医疗和视频监控等领域。为了使用户可以观看到任意角度的三维视频，FTV系统服务端使用已标定好的摄像机阵列获得一定视点上的视频。并对不同视点上的视频校正，利用校正过的视频信息通过虚拟视图合成技术生成虚拟视点的虚拟视图。目前MPEG建议具体使用基于深度-图像(Depth-Image Based Rendering，DIBR)的虚拟视图合成技术。深度信息一般通过深度图表示。

虚拟视图合成的主要过程如下：

1).确定要虚拟视点在摄像机阵列中的相对位置。

2).确定用于合成虚拟视点的纹理视频

3).确定步骤2)的纹理视频对应的深度图

4).依据步骤2)与3)中的纹理视频和深度图，采用DIBR技术，合成虚拟视图。

FTV的标准化工作分为两个阶段进行^[3]。第一阶段是2006年至2008年由JVT制定的H.264/AVC的扩展方案-MVC(Multi-View Video Coding)。MVC可以对多视点纹理视频进行编码。但是要最终实现FTV系统的功能，还必须要对深度信息进行编码。目前FTV的标准化制定工作已经进入第二阶段，即3DVC(Three Dimensional VideoCoding)。3DVC主要关注深度信息的表示与编码，以及纹理视频与深度信息的联合编码。3DVC中，深度信息通过深度图表示。

衡量3DVC性能的主要指标是合成虚拟视图的质量，以及纹理视频、深度图的编码码率。

虚拟视图的质量：

通常采用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)来衡量视频的质量。PSNR的计算公式如(1)式所示，

PSNR=10×log(2552MSE)---(1)]]>

(1)式中MSE表示原始视图与合成虚拟视图之间的均方误差，用来衡量虚拟视图的失真，以及纹理视频的编码失真、深度图的编码失真。

在实际应用中，虚拟视点的视图是不存在的，也即不存在原始视图。但是由于3DVC主要关注编码性能，因此为衡量3DVC的性能，首先采用未经编码的已有纹理视频及其对应的深度图合成虚拟视图V_orig，然后采用经过编码后的重建的纹理视频以及编码后重建的深度图合成虚拟视图V_rec，最后通过计算V_rec与V_orig之间的的MSE，进而得到PSNR，以衡量3DVC的性能。

纹理视频、深度图的编码码率：

编码码率R是指纹理视频、深度图编码的总比特数(B_T，B_D)除以视频帧率F(即每秒显示多少幅图像)，如(2)式所示。