[发明专利]面向3D视频编码的基于深度增强的重采样方法

权利要求书

1.面向3D视频编码的基于深度增强的重采样方法，其特征在于：该方法对彩色视频按原始分辨率进行编码，对深度视频进行降分辨率编码；编码端采用基于频率选择的滤波方法对深度视频下采样；解码端采用基于深度图可信边缘引导的深度增强方法对深度视频上采样；最后对解码得到的彩色视频和上采样深度视频进行视点合成，得到所需的多视点视频；

编码方法的具体步骤是：

步骤(1)、将彩色视频以原始分辨率进行编码，按编码配置文件的参考顺序输入编码器；

步骤(2)、将深度视频采用基于频率选择的滤波方法进行下采样，然后送入3D视频编码器；

步骤(3)、将彩色视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出；

解码方法的具体步骤是：

步骤(4)、将视频编码的比特流进行解码，按参考编码顺序输出为彩色视频和深度视频；

步骤(5)、将解码的深度视频采用基于深度图可信边缘引导的深度增强方法进行上采样，得到与原始视频相同尺寸的解码视频；

步骤(6)、将解码后的彩色视频和上采样的深度视频进行视点合成，得到所需的多视点视频；

步骤(2)所述的将深度视频采用基于频率选择的滤波方法进行下采样，具体步骤如下：

a.求采样窗口w×w内像素深度的平均值:

其中，w为窗口边长，D_n(i,j)是采样窗口内的像素；

b.利用平均值D_m将D_n(i,j)划分为两个像素集合G_h,G_l:

c.下采样点像素的深度值D_d(i,j)取值为:

其中，和分别表示像素集合G_h,G_l内的下采样深度值,L＝w×w表示窗口内所有像素的数目，L(G_h)表示集合G_h中的像素数目；由于从G_h中求解与从G_l中求解的步骤是一样的，故统一称为从G中求解R_G，其步骤如下：

1)遍历集合G内的每个像素G_p，统计G内每个深度值k出现的次数N_k：

2)把所有的N_k从大到小的顺序排列：

N₁＞N₂＞…N_k (4)

3)记N₁和N₂对应的深度值为D₁和D₂，求D₁和D₂与采样窗口内的中心像素深度值D_p的绝对差值：

U₁＝|D₁-D_p| (5)

U₂＝|D₂-D_p| (6)

4)最后，下采样深度值R_G的值为：

步骤(5)中所述的采用基于深度图可信边缘引导的深度增强方法进行上采样，具体步骤如下：

①将解码的深度视频预插值，得到原始分辨率的上采样深度图；首先，水平方向和垂直方向的待插值像素的深度值由其相邻的两个低分辨率像素的深度值的平均值来确定；其次对角线方向的待插值像素的深度值由其相邻的八邻域像素深度值的中值来确定；最后得到原始分辨率的预插值上采样深度图D^u；

②确定深度图的可信边缘其生成的方法为：首先使用Canny算子检测深度图所对应的彩色图，得到彩色图的边缘B^c，将B^c中的边缘像素p∈B^c投影到深度图得到对应的边缘像素p∈B^d，考查p与其八邻域像素q的深度值关系，由下式确定深度图的可信边缘:

其中，t_r是指定阈值；

③构造基于深度图可信边缘引导的深度增强的能量函数：

其中，α是比例系数，E_spatial(D)是空域能量函数，定义为：

其中，是像素点p通过步骤①得到的预插值深度图的像素深度值，Ω表示原始分辨率图像网格的像素集合，邻域平滑函数E_smooth(D_p,D_q)分为3种情况定义：

I.当p属于深度图的可信边缘时，采用其八邻域像素N₈(p)的平滑函数：

其中，和分别是像素p和q的彩色分量，D_p和D_q分别是像素p和q的深度值；

Ⅱ.当p的任意八邻域像素N₈(p)位于深度图的可信边缘时，采用其八邻域像素q中的最小平滑函数：

Ⅲ.当p属于其余像素集合Θ时，采用其四邻域像素N₄(p)的平滑函数：

其中，σ_sc和σ_sp是平滑参数；时域能量函数E_temporal(D)定义为：

其中，是帧f_t中的像素p_t的深度值，是帧f_t-1中对应位置像素p_t-1的深度值，时域权重系数定义为：

ω_t(p_t,p_t-1)＝ω_tc(p_t,p_t-1)ω_td(p_t,p_t-1)， (15)

其中，时域彩色相似系数计算为：

式中，是帧f_t中的像素p_t的彩色分量，是帧f_t-1中对应位置像素p_t-1的彩色分量，σ_tc是平滑参数；

时域深度相似系数计算为：

式中，帧f_t的深度可信边缘和帧f_t-1的深度可信边缘进行异或运算后，再作取反运算；

④采用典型的置信传播算法对步骤③得到的式(9)进行最小化求解，得到最终的上采样深度图D。

2.如权利要求1所述的面向3D视频编码的基于深度增强的重采样方法，其特征在于步骤(6)所述的视点合成采用典型的基于深度图渲染方法。