[发明专利]一种基于块编码特性的3D视频错误隐藏方法

权利要求书

1.一种基于块编码特性的3D视频错误隐藏方法，其特征在于具体方法包括：

(1).恢复背景区域丢失块：

通过将前向帧和后向帧中对应丢失块的同位块的像素的平均差值和像素差值的平均方差对丢失块进行分类处理，具体判断准则为：

下标D表示丢失块的深度，D＝0,1,2，分别对应尺寸为64×64、32×32、16×16的处理单元；Th_D是随D变化的阈值，分别为15、8、4；λ是固定阈值12；和定义如下：

其中，(x,y)是丢失块的左上角像素坐标，(i,j)是相对于左上角像素位置的偏移，p(x+i,y+j)是像素亮度值，p(·,·,n-k)表示前向帧的像素亮度值，p(·,·,n+k)表示后向帧的像素亮度值，S_D是深度D对应的处理单元大小；

首先从最大尺寸64×64的丢失块开始处理：如果该丢失块满足背景块的条件，则将前后向帧中同位块的像素值进行加权平均得到丢失块中的像素值；若不满足，将丢失块划分为32×32的子丢失块，重复之前的操作；当处理到16×16的子块时，背景块恢复操作停止，剩下未修复的丢失子块尺寸均为16×16，标记为前景块；

(2).恢复前景区域丢失块，具体如下：

(2-1).前景区域丢失块的编码预测方式估计：

获取丢失块的周围有效块的编码预测信息，根据帧内编码块数量N_Intra、帧间编码块数量N_Inter、视间编码块数量N_Inter-view，周围有效块的编码预测方式分为三种情况，分别处理：

(i)N_Intra＞0且N_Inter＝0且N_Inter-view＝0,表示周围有效块的编码预测方式均为帧内编码，判定当前丢失块的编码预测方式为帧内编码；

(ii))N_Inter＞N_Inter-view，表示周围有效块的帧间编码块数量多于视间编码块，判定当前丢失块的编码预测方式为帧间编码；

(iii)N_Inter≤N_Inter-view，N_Inter＞0，表示周围有效块的视间编码块的数量多于或等于帧间编码块，判定当前丢失块的编码预测方式为视间编码；

(2-2).恢复帧内编码块：

首先构建两个有效块集合L₀和L₁，L₀中存放参考列表List₀中视频帧的邻域块，L₁存放参考列表List₁中视频帧的邻域块；

构建候选预测补偿块，将提取的邻域块的参考帧和预测矢量赋予当前丢失块，丢失块通过参考帧和预测矢量获得对应的预测补偿块；L₀和L₁更新为候选预测补偿块的集合，其中L₀加入零运动矢量和全局视差矢量GDV的预测补偿块；

最佳候选预测补偿块具体如下：

a.当L₁为空集合，根据加权边界匹配准则选取L₀中的最佳候选预测补偿块中的像素填补当前丢失块；加权边界匹配准则定义为：

其中，(x₀,y₀)是丢失块的像素坐标，f_n和f′_n分别代表当前帧和参考帧，V⁰是L₀中的预测候选补偿块的矢量，ω_Δ,Δ＝u,d,l,r，是丢失块上、下、左、右边界的权重，ω_Δ＝0，边界相邻块为丢失块；ω_Δ＝0.5，边界相邻块为算法恢复块；ω_Δ＝1，边界相邻块为正确解码块；S_d是丢失块边界的像素的行数或列数；SAD(V⁰)是丢失块的外边界像素与参考块的外边界像素的绝对差值之和；L₀中的最佳候选预测补偿块是V⁰使得SAD(V⁰)最小的补偿块

b.当L₁为非空集合时，L₀或L₁中均有最佳候选预测补偿块或且有对应的SAD(V⁰)和SAD(V¹)；将D＝|SAD(V⁰)-SAD(V¹)|与设定的阈值T₁进行比较：

如果D≤T₁，此时丢失块MB恢复如下：

如果D＞T₁，丢失块MB由对应min{SAD₀(V⁰)，SAD₁(V¹)}中的预测补偿块来恢复；

(2-3).恢复帧间编码块：

假设物体在视频序列中是线性运动的，则丢失块MB采用线性双向预测的运动补偿，即前向帧Ref₀和后向帧Ref₁中总能找到与丢失块相似的预测补偿块；

为丢失块构建候选运动矢量集MV_col，通过最小化前向预测补偿块B₀和后向预测补偿块B₁的平均像素差值Δdiff来选择最优运动矢量；

如果Δdiff＞T₂，则表明前面的假设不成立，T₂为设定的阈值，此时在候选运动矢量的基础上执行范围内搜索最佳运动矢量来单向预测恢复丢失块的操作：

Step1.B₀相对于MB的位移矢量计算B₀内所有像素亮度值的和SOL₀；

Step2.连接B₀和MB的中心点并延长到Ref₁上得到B₁，计算B₁内所有像素亮度值的和SOL₁，此时B₁相对于MB的位移矢量

Step3.如果B₀与B₁之间的平均绝对差值小于T₂，则由B₀和B₁加权平均恢复MB；当ΔDs≥T₂时，以当前运动矢量MV⁰为基础，在±16范围内搜索运动矢量，跳转到Step1；

Step4.当ΔDs≥T₂一直成立时，改变双向预测补偿的策略，执行单向预测搜索恢复，即以MV_col为基础，在±16范围内搜索运动矢量使得SAD(V)最小的预测补偿块来恢复MB；

(2-4).恢复视间编码块：

选取熵、能量、对比度三个统计特征值来分析纹理，且计算四个方向上的特征值后取平均值，构成特征向量G：G＝(F_ent,F_ene,F_con)；F_ent、F_ene、F_con分别为熵值、能量值和对比度值，具体表示如下：

其中，K表示灰度共生矩阵的行数或列数；(a,b)表示灰度共生矩阵的坐标；d表示方向上的距离；θ表示方向0°,45°,90°,135°；g(a,b)表示对应(a,b)位置上的灰度共生矩阵值；当分别提取丢失块和候选块的边界的特征向量G_R、G_Q后，利用欧氏距离计算二者的相似度Ts＝|G_R-G_Q|，最终的灰度共生加权边界匹配准则为：

GSAD表示融合灰度共生矩阵后，即丢失块与参考块匹配度，N是丢失块边界的像素的行数或列数，α为常数0.7。