[发明专利]基于AVS和神经网络的立体视频编码方法

权利要求书

1.一种基于AVS和神经网络的立体视频编码方法,其特征在于,包括以下步骤:

1)左路参考视频编码：左路视频序列作为参考序列，通过AVS视频编码方法进行编码，产生后缀为avs的比特流；

2)两级神经分类器处理：为了覆盖所有可能的分块和预测源，右路视频每帧的图像使用两级神经分类器来完成模式确定,第一级分类器完成背景类、遮挡类、变动类三种分类结果，第二级分类器估计出采用前向运动预测或是空间视差预测;

3)右路目标图像编码：通过二级神经分类器处理后的数据，根据确定的预测类型进行相应的运动或是视差补偿,最后产生后缀为avs的比特流。

2.根据权利要求1所述的基于AVS和神经网络的立体视频编码方法,其特征在于,在所述步骤2)中,两级神经网络分类器方法,具体包括以下步骤：

a.第一级分类器特征提取：第一级分类器计算当前帧和前向参考帧，计算出特征值，包括大块的均值、大块的方差、顶部和底部的16×16块的均值和方差、左和右的16×16块的均值和方差、前景图像在大块中所占的比重；

b.第一级分类器块分割：第一级分类器将一个大块分成3类：背景类、遮挡类和变动类，分别使用4、6、3个神经元作为输入层、隐藏层和输出层，在充分的训练后，神经网络计算出每一个输出神经元的分数，分数的取值从0.0到1.0；为加速模式估计过程，选择3类分割中的一种最小的分数值进入下一步的评估，不同的类在下面的处理过程中使用不同，背景类和遮挡类两类不进入第二级神经分类，而变动类在第二级神经分类中进一步分为16×8、8×16、8×8三种子块；

c.第二级分类器特征提取：第二级分类器计算当前帧和前向运动估计，空间视差估计，第二级分类器计算出的特征总共有4种特征，包括前向子块的均值、子块的方差、参考图像子块的均值和子块的方差；

d.第二级分类器预测模式确定：第二级分类器分别使用5、4、2个神经元作为输入层、隐藏层和输出层，与第一级相似，根据分数从两个输出中选取小的分数值；最终判断出使用何种补偿模式，是前向运动补偿还是空间视差补偿，当第二级分类器的输出分数值小于0.5时，选择使用前向运动补偿，当第二级分类器的输出分数值大于等于0.5时，选择使用空间视差补偿。

3.根据权利要求1所述的基于AVS和神经网络的立体视频编码方法,其特征在于,在所述步骤2)中,视差估计方法具体步骤为：将视差的计算分成两步实现，第一步区分图像的平滑区和非平滑区，第二步针对不同的区域分别计算视差值,具体步骤为:

a.平滑区和非平滑区的区分：将图像分块后区分平滑区和非平滑区，平滑区和非平滑区是针对各个块而言，划分的原理为：u(x,y)代表每块的灰度平均值，将选定块中的每一个像素和该块的灰度平均值之差的绝对值相加求和，结果值越趋近于0则代表块越平滑；

具体的公式由公式(1)、公式(2)所示：

δ(x,y)=1(2m+1)(2n+1)Σ(ξ,η)|f(x+ξ,y+η)-u(x,y)|]]>       式(1)

u(x,y)=1(2m+1)(2n+1)Σ(ξ,η)f(x+ξ,y+η)]]>       式（2）

f(i,j)=116×16Σi=116Σj=116Rij+Gij+Bij3]]>      式（3）

其中，i,j表示分块中每个像素点的坐标，x,y表示每一个分块的位置坐标，m,n表示每帧图像横向和纵向分别包含的块数，ξ取值范围为[1,m]，η取值范围为[1,n]，f(i,j)代表块中每个像素点的灰度值，(R_ij,G_ij,B_ij)为每个点的红绿蓝的颜色数值，u(x,y)代表每块的灰度平均值，则每一个像素和该块的灰度平均值之差的绝对值相加求和δ(x,y)越趋近0代表块越平滑，通过灰度直方图的方法确定一幅图像中平滑区域和非平滑区域所占多少的百分比，然后通过设定百分比作为区别平滑区域和非平滑区域的阈值；

b.平滑区和非平滑区的视差计算：对于非平滑区视差的求解方法是根据式（4）得到该分块各像素的视差点C(x_i,y_i,d)的和分块的视差空间C(x,y,d)，使视差空间C(x,y,d)取值最小的视差d作为该分块的视差值，

C(x,y,d)=Σ(xi,yi)∈WDSI(xi,yj,d)]]>           式（4）

其中W表示支撑框架，即非平滑区中的各分块的范围，视差空间是个三维离散的空间，视差空间中的点(x,y,d)表示(x,y)具有视差d，其值被赋予具有视差d的匹配估计值，

C(x_i,y_i,d)＝λ×min(|I^t(x_i,y_i)-I^r(x_i+s·d,y_i)|)        式（5）

式中，I^t表示目标图像；I^r表示参考图像；S表示方向符号，左图像为参考图像时取-1，右图像为参考图像时取+1，d表示视差，λ表示像素匹配代价值的缩放系数，把初始的匹配代价值控制在某个范围之内。

4.根据权利要求3所述的基于AVS和神经网络的立体视频编码方法,其特征在于,将平滑区分成为平滑Ι区和平滑ΙΙ区，平滑Ι区的特征是平滑块的邻域内非平滑块占大多数，平滑块被非平滑块包围，平滑ΙΙ区的特征是平滑块呈现集中分布并形成连通域;

对平滑Ι区的处理方法是从平滑块的邻域非平滑块的视差中选择使得该平滑块代价最小的视差作为该平滑块的视差;

平滑ΙΙ区的处理方法是选择出连通区域，将整块区域中出现过的各个视差值分别作为整块连通域的视差值，然后计算整块连通域的匹配代价，选择使匹配代价最小的视差值作为整块的视差值。