[发明专利]基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法

权利要求书

1.一种基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法；其特征在于包括如下步骤：

步骤(1).读取训练用立体图像，每一幅立体图像由一个左视图和一个右视图组成，对每一幅立体图像，同时读取它的参考图像和它的主观质量评价结果；

步骤(2).对步骤(1)中读取的每一幅立体图像及其参考图像，都进行步骤(3)到步骤(7)的操作；

步骤(3).对该立体图像或参考图像的左视图中的每一个点，找到其右视图上的对应点；

步骤(4).求出该立体图像或参考图像的视差信息，以左视图为基准，视差信息以一个与左视图的灰度图尺寸一致，为M×N的矩阵D来表示，D中的每个元素D(x,y)，表示左视图上坐标(x,y)的点I_L(x,y)在右视图上的对应点I_R(x,y-d)的相对偏移量d；

步骤(5).对立体图像或参考图像的左右视图，分别进行多尺度的Gabor滤波；Gabor滤波器是正弦波和高斯核函数的乘积，二维直角坐标系上的Gabor滤波器定义为

其中，R₁＝xcosθ+ysinθ，R₂＝-xsinθ+ycosθ；σ_x和σ_y是分别是标准高斯核在x和y方向上的宽度；ζ_x和ζ_y决定了正弦波的频率，θ定义了滤波器的方向；

由于Gabor响应是复数，对每个像素点上的Gabor响应取模从而使其实数化，对每一个尺度，取多个方向的响应的均值，这样，左右视图在各尺度上的滤波结果分别表示为LG_i和RG_i，它们都是尺寸仍为M×N的矩阵；

步骤(6).将左右视图进行融合，在每一个尺度上都得到一个合成图像FI，用于之后的质量评价，使用一个线性模型进行融合，

其中D和LG_i、 RG_i分别从步骤(4)和(5)中得到；

步骤(7).对步骤(6)中得到的合成图像使用局部二值模式LBP进行纹理特征提取，选取一个包含k个像素的邻域，则LBP将每一个像素点转化成一个k-1位的二进制码，编码依据为

其中，g_c为被编码的点的像素值，g_p为它的邻域中除了该被编码点外的其余k-1个点的像素值；

步骤(8).经过以上步骤，每一幅立体图像及其参考图像最终都形成了若干个二进制码矩阵，具体的矩阵数量由选取的尺度数量决定，每一个这样的矩阵都用一个有2^k-1个元素的直方图来表示它的分布，这两个矩阵的相似性通过它们各自的分布的直方图相交来衡量；设码的分布为T_i和R_i，直方图相交定义为：

其中，T_i^j和R_i^j分别指尺度i上测试立体图像和参考图像经过上述步骤(1)-(8)处理得到，LBP码为j的个数；两个分布越相似，相似度的值越接近1；否则更接近0；

步骤(9).每一幅被测试的立体图像会得到与步骤(5)中选取的Gabor滤波器尺度相同数量的similarity值，设选取了m尺度的Gabor滤波器，则该图像的客观质量得分Q_O由这m个输入通过一个回归函数得到，即

Q_O＝f_regression(similarity₁,similarity₂,...,similarity_m) (6)

采用支持向量机通过训练得到回归函数f_regression，训练过程采用的样本即步骤(1)中读取的数据，训练样本的输入是读取的立体图像经过步骤(2)到(8)之后得到的m个similarity值，输出是步骤(1)中读取的主观质量评价结果，得到训练结果，即回归函数f_regression；

步骤(10).对于一张待评价的立体图像，输入该立体图像及其参考图像，经过步骤(2)到(8)之后得到m个similarity值，利用步骤(9)训练得到的回归函数f_regression即可得到该图像的客观质量得分。

2.根据权利要求1所述的基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法；其特征在于包括所述的步骤(3)具体为：基于左右视图的灰度图，设左右视图的灰度图分别为I_L和I_R，都是尺寸为M×N的矩阵，行、列坐标的起点都在左上角，则同一个物体在右视图上出现的位置的列坐标小于在左视图上的列坐标；即I_L(x,y)在右视图上的对应点为I_R(x,y-d)，其中x、y分别代表行、列坐标，d为相对偏移量，且d>0，对所有符合d>0条件的候选对应点，取其中与左视图中点各自的邻域的绝对误差和SAD最小的点，SAD定义为

其中，L和R分别代表左右视图上的一个点，L_i和R_i分别表示L和R的邻域中的各点的灰度值，n表示所选取的邻域包含的像素点数目。