[发明专利]基于梯度信息指导双目视图融合的立体图像质量评价方法

摘要

本发明公开了一种基于梯度信息指导双目视图融合的立体图像质量评价方法。本发明利用Sobel算子和LoG算子构造联合统计梯度图以作为双目视图融合的权重图，得到对应的中间参考图像和中间失真图像。进而，对中间图像进行图像特征信息的提取，包括边缘、纹理、对比度信息，对参考和失真立体图像对视差图提取深度信息。最后，通过对特征相似性的度量和基于SVR的特征综合与质量映射，从而得到最终的图像质量客观评价分数，实现对立体图像质量损失的度量。实验结果表明，基于本发明所提出算法具有良好的准确性和鲁棒性。

主权项

1.一种基于梯度信息指导双目视图融合的立体图像质量评价方法，其特征在于它包括以下步骤：步骤(1).输入参考立体图像对和失真立体图像对，其中每个立体图像对分别包括左视图和右视图图像；步骤(2).利用Sobel算子对步骤(1)中输入的立体图像对进行卷积运算处理，分别得到立体图像对中左、右视图的梯度图GM；步骤(3).利用LoG算子对步骤(1)中输入的立体图像对进行卷积运算处理，分别得到立体图像对中左、右视图的梯度图LoG；步骤(4).基于步骤(2)和步骤(3)中得到的梯度图，计算联合统计的梯度图，联合统计过程的具体表达式如下：其中，F(x,y)表示联合Sobel算子和LoG算子得到的联合统计梯度图，ε表示很小的正常数，防止分母为零；GM(x,y)表示步骤(2)中利用Sobel算子卷积图像得到的梯度图，LoG(x,y)表示步骤(3)中利用LoG算子卷积图像得到的梯度图；步骤(5).分别对步骤(1)输入的参考立体图像对和失真立体图像对提取对应的视差图，步骤如下：将参考立体图像对和失真立体图像对中的右视图以s像素点的步长右移k次，得到右移后的k幅修正右视图；进而利用结构相似度SSIM算法分别计算所有立体图像对中的左视图和k幅修正右视图的结构相似度，得到k幅结构相似性图，其中，SSIM算法的表达式如下：SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ                (5‑1)其中，μ_x和μ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值；σ_x和σ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值；σ_xy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差，l(x,y)、c(x,y)和s(x,y)分别表示图像的亮度，对比度和结构信息，α、β和γ分别代表图像的亮度、对比度和结构信息在结构相似度中所占的权重，C₁、C₂和C₃为大于零的常数，防止分母为零；最后，对于左视图的每一个像素点，取其k幅结构相似性图中局部结构相似性值最大的一幅所对应的右移像素量作为该像素点的视差值；步骤(6).将步骤(5)中获得的视差图信息和右视图结合，建立和左视图坐标对应的校准右视图，然后基于步骤(4)得到的左视图和右视图联合梯度图，计算归一化的左视图权重图W_L(x,y)和校准右视图权重图W_R((x+d),y),具体表达式如下：其中，F_L(x,y)、F_R((x+d),y)分别为步骤(4)得到的左视图和校准右视图的联合梯度图，d为步骤(5)计算得到的视差图中的视差值；步骤(7).基于步骤(1)中的参考立体图像对和失真立体图像对的左视图I_L(x,y)和步骤(6)得到的参考立体图像对和失真立体图像对的校准右视图I_R((x+d),y)以及左右视图权重图，实现立体图像的双目融合，分别得到中间参考和失真图像；双目融合的公式如下：CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y)              (7‑1)其中，CI(x,y)即是融合后的中间参考图像或中间失真图像；步骤(8).利用步骤(6)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息，采用像素域误差的方法提取参考立体图像对和失真立体图像对的深度特征信息的相似性，作为度量失真的立体图像对的质量失真程度：Index₁＝mean(D_ref‑D_dis)²                                 (8‑1)其中，D_ref代表参考图像的视差图，D_dis代表失真图像的视差图，Index₁和Index₂是深度特征信息的两个相似性度量；步骤(9).对步骤(7)得到的中间参考和失真图像分别提取边缘、纹理、对比度信息；步骤(10).对步骤(9)中提取的图像信息特征进行相似性度量，表达式如下：其中，GM_ref、TI_ref、c_ref分别表示参考中间图像的边缘、纹理和对比度信息，GM_dis、TI_dis、c_dis表示失真中间图像的边缘、纹理和对比度信息，Index₃、Index₄和Index₅，分别代表边缘、纹理和对比度的相似性度量指标；步骤(11).整合步骤(8)和(10)中得到的各个度量指标，进行支持向量机训练预测，获得最佳预测模型，并映射为图像质量的客观评价分数；Q＝SVR(Index₁,Index₂,…,Index₅)                  (11‑1)其中，Q为客观质量评价分数。