[发明专利]面向3D视频编码的基于深度增强的重采样方法

摘要

本发明涉及一种面向3D视频编码的基于深度增强的重采样方法。本发明方法对彩色视频按原始分辨率进行编码，对深度视频进行降分辨率编码；对深度视频编码前采用基于频率选择的方法对深度视频进行下采样，对解码后的深度视频，先采用预插值方法生成原始分辨率的深度视频，再采用基于深度图可信边缘引导的深度增强方法对深度视频进行上采样；最后对解码得到的彩色视频和上采样深度视频进行视点合成，得到所需的多视点视频。本发明方法减少了重采样的深度视频在3D视频编解码过程中的失真，保护了深度视频的边缘，提高了合成视点的质量。

主权项

1.面向3D视频编码的基于深度增强的重采样方法，其特征在于：该方法对彩色视频按原始分辨率进行编码，对深度视频进行降分辨率编码；编码端采用基于频率选择的滤波方法对深度视频下采样；解码端采用基于深度图可信边缘引导的深度增强方法对深度视频上采样；最后对解码得到的彩色视频和上采样深度视频进行视点合成，得到所需的多视点视频；编码方法的具体步骤是：步骤(1)、将彩色视频以原始分辨率进行编码，按编码配置文件的参考顺序输入编码器；步骤(2)、将深度视频采用基于频率选择的滤波方法进行下采样，然后送入3D视频编码器；步骤(3)、将彩色视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出；解码方法的具体步骤是：步骤(4)、将视频编码的比特流进行解码，按参考编码顺序输出为彩色视频和深度视频；步骤(5)、将解码的深度视频采用基于深度图可信边缘引导的深度增强方法进行上采样，得到与原始视频相同尺寸的解码视频；步骤(6)、将解码后的彩色视频和上采样的深度视频进行视点合成，得到所需的多视点视频；步骤(2)所述的将深度视频采用基于频率选择的滤波方法进行下采样，具体步骤如下：a.求采样窗口w×w内像素深度的平均值:其中，w为窗口边长，Dn(i,j)是采样窗口内的像素；b.利用平均值Dm将Dn(i,j)划分为两个像素集合Gh,Gl:c.下采样点像素的深度值Dd(i,j)取值为:其中，和分别表示像素集合G_h,G_l内的下采样深度值,L＝w×w表示窗口内所有像素的数目，L(G_h)表示集合G_h中的像素数目；由于从G_h中求解与从G_l中求解的步骤是一样的，故统一称为从G中求解R_G，其步骤如下：1)遍历集合G内的每个像素Gp，统计G内每个深度值k出现的次数Nk：2)把所有的Nk从大到小的顺序排列：N1＞N2＞…Nk  (4)3)记N1和N2对应的深度值为D1和D2，求D1和D2与采样窗口内的中心像素深度值Dp的绝对差值：U1＝|D1‑Dp|  (5)U2＝|D2‑Dp|  (6)4)最后，下采样深度值RG的值为：步骤(5)中所述的采用基于深度图可信边缘引导的深度增强方法进行上采样，具体步骤如下：①将解码的深度视频预插值，得到原始分辨率的上采样深度图；首先，水平方向和垂直方向的待插值像素的深度值由其相邻的两个低分辨率像素的深度值的平均值来确定；其次对角线方向的待插值像素的深度值由其相邻的八邻域像素深度值的中值来确定；最后得到原始分辨率的预插值上采样深度图Du；②确定深度图的可信边缘其生成的方法为：首先使用Canny算子检测深度图所对应的彩色图，得到彩色图的边缘B^c，将B^c中的边缘像素p∈B^c投影到深度图得到对应的边缘像素p∈B^d，考查p与其八邻域像素q的深度值关系，由下式确定深度图的可信边缘:其中，tr是指定阈值；③构造基于深度图可信边缘引导的深度增强的能量函数：其中，α是比例系数，Espatial(D)是空域能量函数，定义为：其中，是像素点p通过步骤①得到的预插值深度图的像素深度值，Ω表示原始分辨率图像网格的像素集合，邻域平滑函数E_smooth(D_p,D_q)分为3种情况定义：I.当p属于深度图的可信边缘时，采用其八邻域像素N8(p)的平滑函数：其中，和分别是像素p和q的彩色分量，D_p和D_q分别是像素p和q的深度值；Ⅱ.当p的任意八邻域像素N8(p)位于深度图的可信边缘时，采用其八邻域像素q中的最小平滑函数：Ⅲ.当p属于其余像素集合Θ时，采用其四邻域像素N4(p)的平滑函数：其中，σsc和σsp是平滑参数；时域能量函数Etemporal(D)定义为：其中，是帧f_t中的像素p_t的深度值，是帧f_t‑1中对应位置像素p_t‑1的深度值，时域权重系数定义为：ωt(pt,pt‑1)＝ωtc(pt,pt‑1)ωtd(pt,pt‑1)，  (15)其中，时域彩色相似系数计算为：式中，是帧f_t中的像素p_t的彩色分量，是帧f_t‑1中对应位置像素p_t‑1的彩色分量，σ_tc是平滑参数；时域深度相似系数计算为：式中，帧f_t的深度可信边缘和帧f_t‑1的深度可信边缘进行异或运算后，再作取反运算；④采用典型的置信传播算法对步骤③得到的式(9)进行最小化求解，得到最终的上采样深度图D。