[发明专利]一种适用于深度图编码的拉格朗日因子计算方法

说明书

技术领域

本发明涉及到三维视频编码标准中的深度图编码技术，具体是一种深度图编码器率失真优化过程中计算拉格朗日因子的方法，属于深度图编码技术领域。

背景技术

三维视频作为未来主要的视频应用技术，是指用户通过三维视频显示设备可以享受到真实的三维视频内容。三维视频的相关技术，比如，三维视频采集、三维视频编码、三维视频的显示等技术已经得到广泛的关注。为了推动三维视频技术的标准化，2002年，运动图像专家组(Motion Picture Experts Group，MPEG)提出任意视点电视(Free View Television，FTV)的概念。它能够提供生动真实的、交互式的三维视听系统。用户可以从不同的角度观看该角度的三维视频，使得用户有融入视频场景中的真实感受。FTV可广泛应用于广播通信、娱乐、教育、医疗和视频监控等领域。为了使用户可以观看到任意角度的三维视频，FTV系统服务端使用已标定好的摄像机阵列获得一定视点上的视频。并对不同视点上的视频校正，利用校正过的视频信息通过虚拟视图合成技术生成虚拟视点的虚拟视图。目前MPEG建议具体使用基于深度-图像(Depth-Image Based Rendering，DIBR)的虚拟视图合成技术。深度信息一般通过深度图表示。

虚拟视图合成的主要过程如下：

1).确定要虚拟视点在摄像机阵列中的相对位置。

2).确定用于合成虚拟视点的纹理视频

3).确定步骤2)的纹理视频对应的深度图

4).依据步骤2)与3)中的纹理视频和深度图，采用DIBR技术，合成虚拟视图。

FTV的标准化工作分为两个阶段进行。第一阶段是2006年至2008年由JVT(Joint Video Team)，联合视频编码组制定的H.264/AVC的扩展方案-MVC(Multi-View Video Coding)。MVC可以对多视点纹理视频进行编码。但是要最终实现FTV系统的功能，还必须要对深度信息进行编码。目前FTV的标准化制定工作已经进入第二阶段，即3DVC(Three Dimensional Video Coding)。3DVC主要关注深度信息的表示与编码，以及纹理视频与深度信息的联合编码。3DVC中，深度信息通过深度图表示。

衡量3DVC性能的主要指标是合成虚拟视图的质量，以及纹理视频、深度图的编码码率。虚拟视图的质量：

通常采用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)来衡量视频的质量。PSNR的计算公式如下式所示，

PSNR=10×log(2552MSE)]]>

其中MSE表示原始视图与合成虚拟视图之间的均方误差，用来衡量虚拟视图的失真，以及纹理视频的编码失真、深度图的编码失真。

在实际应用中，虚拟视点的视图是不存在的，也即不存在原始视图。但是由于3DVC主要关注编码性能，因此为衡量3DVC的性能，首先采用未经编码的已有纹理视频及其对应的深度图合成虚拟视图V_orig，然后采用经过编码后的重建的纹理视频以及编码后重建的深度图合成虚拟视图V_rec，最后通过计算V_rec与V_orig之间的的MSE，进而得到PSNR，以衡量3DVC的性能。

在H.264/AVC视频编码标准中，首先对当前编码块进行预测，然后计算当前编码块与预测块之间的平均平方误差MSE作为失真D；然后将当前编码块的像素灰度值减去预测块的像素灰度值，得到预测差值，对预测差值进行离散余弦变换、量化和熵编码，继而得到当前编码块的编码码率R；最后采用下式计算当前编码块的率失真代价J，

J＝D+λ_mode·R，

其中λ_mode为拉格朗日因子。编码器在模式选择的过程中，λ_mode的计算方法如下，