[发明专利]梯度图引导的基于深度重采样3D‑HEVC编解码方法

摘要

本发明涉及一种梯度图引导的基于深度重采样3D‑HEVC编解码方法。本发明该方法对纹理视频按原始分辨率进行编码，对深度视频进行降分辨率编码；编码端采用梯度图引导的分块中值滤波的方法对深度视频下采样；解码端采用梯度图引导的邻域估值的方法对深度视频上采样；最后对解码得到的纹理视频和上采样深度视频进行视点合成，得到所需的多视点视频。本发明方法在保持编码性能的前提下，保护了深度视频的边缘，提高了深度视频重采样的质量，降低了算法复杂度。

主权项

梯度图引导的基于深度重采样3D‑HEVC编解码方法，其特征在于：该方法对纹理视频按原始分辨率进行编码，对深度视频进行降分辨率编码；编码端采用梯度图引导的分块中值滤波的方法对深度视频下采样；解码端采用梯度图引导的邻域估值的方法对深度视频上采样；最后对解码得到的纹理视频和上采样深度视频进行视点合成，得到所需的多视点视频；编码方法的具体步骤是：步骤(1)、将纹理视频以原始分辨率进行编码，按编码配置文件的参考顺序输入3D‑HEVC编码器；步骤(2)、将深度视频采用梯度图引导的分块中值滤波方法进行下采样，然后送入3D‑HEVC编码器；步骤(3)、将纹理视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出；解码方法的具体步骤是：步骤(4)、将视频编码的比特流进行解码，按参考编码顺序输出为纹理视频和深度视频；步骤(5)、将解码的深度视频，采用梯度图引导的邻域估值方法进行上采样，得到与原始视频相同尺寸的解码视频；步骤(6)、将解码后的纹理视频和上采样的深度视频进行视点合成，得到所需的多视点视频；步骤(2)所述的梯度图引导的分块中值滤波方法进行下采样，具体步骤如下：a.对于深度视频的每帧图像，首先生成每个像素的水平方向和垂直方向上的梯度：▿G=(Gh,Gv)---(1)]]>其中，Gh和Gv分别是水平方向和垂直方向上的梯度；则每个像素的梯度值为：G=Gh2+Gv2---(2)]]>b.设缩放系数为s,将深度图划分为互不重叠的大小为s×s的块，则分块后的深度图为：GB(x,y)＝G(sx,sy)  (3)其中x,y是分块深度图GB(x,y)的中心坐标；G(sx,sy)是原深度图的坐标；c.把深度图划分的所有的块B(x,y)划分为边缘块Be(x,y)和非边缘块Bne(x,y):B(x,y)=Be(x,y),ifNh(x,y)>p*Ntotal(x,y)Bne(x,y),otherwise---(4)]]>其中，p是百分比参数，Ntotal(x,y)是一个块内的所有像素的数目，Nh(x,y)是块B(x,y)里面的具有高梯度值的像素的数目，计算如下：Nh(x,y)=Σ(i,j)∈B(x,y)ρ[GB(i,j),GBavg(x,y)]withρ[GB(i,j),GBavg(x,y)]=1,ifGB(i,j)≥λGBavg(x,y)0,otherwise---(5)]]>其中，λ是下采样的阶数，λ＝1,2,3对应于缩放系数为2，4，8；GB(i,j)是块B(x,y)里面像素(i,j)的梯度，GBavg(x,y)是块B(x,y)的平均梯度；d.与分块的梯度图相对应，深度图被划分为非重叠的边缘块和非边缘块；对于边缘块Be(x,y)，计算它的中值为：Ddown(x,y)=median(i,j)∈B(x,y){DBh(i,j)}---(6)]]>其中，{DBh(i,j)}代表块B(x,y)里面具有高梯度GBh(x,y)的像素集合，它满足以下条件：DBh(i,j):GBh(i,j)≥λGBavg(x,y)  (7)其中，λGBavg(x,y)的定义同式(5)；对于非边缘块Bne(x,y)，计算它的中值为：Ddown(x,y)=median(i,j)∈B(x,y){DB(i,j)}---(8)]]>其中，{DB(i,j)}代表块B(x,y)里面所有像素深度值的集合；式(6)和式(8)的结果构成了下采样的深度图的值；步骤(5)中所述的采用梯度图引导的邻域估值方法进行上采样，具体步骤如下：①根据步骤(a)的生成深度图的梯度图；②设缩放系数为s，将每个待插值像素扩展为s×s大小的块，得到上采样后的深度图模板；③设解码输出的深度图的一个像素坐标为(x,y)，则它在上采样后的深度图模板中的左上角像素的坐标为(s(x‑1)+1,s(y‑1)+1)，右上角像素的坐标为(s(x‑1)+1,sy)，左下角像素的坐标为(sx,s(y‑1)+1)，右下角像素的坐标为(sx,sy)；对左上角、右上角、左下角和右下角4个像素采用邻域估值的方法进行插值，具体如下：设待估值的像素的坐标为(sx,sy)，深度图中(x,y)的深度值为D(x,y)，梯度值为G(x,y)；则该像素的三个邻域像素(x,y+1)、(x+1,y)、(x+1,y+1)的深度值分别为D(x,y+1)、D(x+1,y)、D(x+1,y+1)，梯度均值为Gavg(x,y)；记Dmedian(x,y)是集合{D(x,y)，D(x,y+1)，D(x+1,y)，D(x+1,y+1)}的中值，则估计的深度值D(sx,sy)为：D(sx,sy)=D(x,y),ifG(x,y)≥ϵGavg(x,y)Dmedian(x,y),otherwise---(9)]]>这里的参数ε＝1；④由步骤③得到块的四个顶角的深度值，位于水平方向上(s(x‑1)+1,s(y‑1)+1)和(s(x‑1)+1,sy)之间的空白像素估值为：D1=12[D(s(x-1)+1,s(y-1)+1)+D(s(x-1)+1,sy)]---(10)]]>位于水平方向上(sx,s(y‑1)+1)和(sx,sy)之间的空白像素估值为：D2=12[D(sx,s(y-1)+1)+D(sx,sy)]----(11)]]>位于垂直方向上(s(x‑1)+1,s(y‑1)+1)和(sx,s(y‑1)+1)之间的空白像素估值为：D3=12[D(s(x-1)+1,s(y-1)+1)+D(sx,s(y-1)+1)]---(12)]]>位于垂直方向上(s(x‑1)+1,sy)和(sx,sy)之间的空白像素估值为：D4=12[D(s(x-1)+1,sy)+D(sx,sy)]---(13)]]>位于45°对角线方向上(s(x‑1)+1,sy)和(sx,s(y‑1)+1)之间的空白像素估值为：D5=12[D(s(x-1)+1,sy)+D(sx,s(y-1)+1)]---(14)]]>位于‑45°对角线方向上(s(x‑1)+1,s(y‑1)+1)和(sx,sy)之间的空白像素估值为：D6=12[D(s(x-1)+1,s(y-1)+1)+D(sx,sy)]---(15)]]>剩余的空白像素采用距离其最近的已插值像素的深度值。