[发明专利]基于极限学习和双目融合的盲参考立体图像质量评价方法

摘要

本发明公开了一种基于极限学习和双目融合的盲参考立体图像质量评价方法，其获取待评价的失真立体图像的左右视点双目融合图像及左右视点双目融合图像的LoG、DoG和GM滤波图像；接着获取LoG、DoG和GM滤波图像各自的旋转不变性局部二值化模式图像及直方图统计特征向量；对于训练集，以相同方式获取每幅失真立体图像对应的三个直方图统计特征向量，采用极限学习机对所有直方图统计特征向量进行训练，利用得到的极限学习机训练模型对待评价的失真立体图像对应的三个直方图统计特征向量进行测试，预测得到客观质量评价预测值；优点是能够充分考虑到立体视觉感知特性，并采用高效的机器学习方法，从而能够有效地提高客观评价结果与主观感知之间的相关性。

主权项

一种基于极限学习和双目融合的盲参考立体图像质量评价方法，其特征在于包括以下步骤：①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示Sdis的宽度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②对{Ldis(x,y)}实施Gabor滤波，得到{Ldis(x,y)}的幅值图像，记为{GL_dis(x,y)}；同样，对{Rdis(x,y)}实施Gabor滤波，得到{Rdis(x,y)}的幅值图像，记为{GR_dis(x,y)}；其中，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；③采用块匹配方法计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像，记为{ddis(x,y)}，其中，ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值；④根据{Ldis(x,y)}和{Rdis(x,y)}、{GL_dis(x,y)}和{GR_dis(x,y)}、{ddis(x,y)}，采用对比度增益控制理论，计算Sdis的左右视点双目融合图像，记为{Fdis(x,y)}，将{Fdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为Fdis(x,y)，其中，GR_dis(x+ddis(x,y),y)表示{GR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，Rdis(x+ddis(x,y),y)表示{Rdis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值；⑤采用拉普拉斯高斯滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的LoG滤波图像，记为{LoGdis(x,y)}；并采用高斯差分滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的DoG滤波图像，记为{DoGdis(x,y)}；采用梯度幅值滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的GM滤波图像，记为{GMdis(x,y)}；其中，LoGdis(x,y)表示{LoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，DoGdis(x,y)表示{DoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，GMdis(x,y)表示{GMdis(x,y)}中坐标位置为(x,y)的像素点的像素值；⑥采用局部二值化模式操作对{LoGdis(x,y)}进行处理，得到{LoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,LoG(x,y)}；同样，采用局部二值化模式操作对{DoGdis(x,y)}进行处理，得到{DoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,DoG(x,y)}；采用局部二值化模式操作对{GMdis(x,y)}进行处理，得到{GMdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,GM(x,y)}；其中，LBPriu,LoG(x,y)表示{LBPriu,LoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,DoG(x,y)表示{LBPriu,DoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,GM(x,y)表示{LBPriu,GM(x,y)}中坐标位置为(x,y)的像素点的像素值；⑦采用直方图统计方法对{LBPriu,LoG(x,y)}进行直方图统计，得到{LBPriu,LoG(x,y)}的直方图统计特征向量，记为HLoG；同样，采用直方图统计方法对{LBPriu,DoG(x,y)}进行直方图统计，得到{LBPriu,DoG(x,y)}的直方图统计特征向量，记为HDoG；采用直方图统计方法对{LBPriu,GM(x,y)}进行直方图统计，得到{LBPriu,GM(x,y)}的直方图统计特征向量，记为HGM；其中，HLoG、HDoG和HGM的维数均为m'×1维，HLoG中的第m个元素为HLoG(m)，HDoG中的第m个元素为HDoG(m)，HGM中的第m个元素为HGM(m)，1≤m≤m'，m'＝P+2，P表示步骤⑥中的局部二值化模式操作中的领域参数；⑧采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像，将该失真立体图像集合作为训练集；然后利用主观质量评价方法分别评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOSj；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像的左右视点双目融合图像的LoG滤波图像、DoG滤波图像、GM滤波图像各自的旋转不变性局部二值化模式图像的直方图统计特征向量，将训练集中的第j幅失真立体图像的左右视点双目融合图像的LoG滤波图像对应的直方图统计特征向量记为HLoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的DoG滤波图像对应的直方图统计特征向量记为HDoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的GM滤波图像对应的直方图统计特征向量记为HGM,j；其中，n”>1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOSj≤100，HLoG,j、HDoG,j和HGM,j的维数均为m'×1维；⑨将训练集中的所有失真立体图像各自的主观评分和对应的三个直方图统计特征向量构成训练样本数据集合；然后采用极限学习机作为机器学习的方法，对训练样本数据集合中的所有直方图统计特征向量进行训练，使得经过训练得到的函数值与主观评分之间的误差最小，得到极限学习机训练模型；再根据极限学习机训练模型，将Sdis对应的HLoG、HDoG和HGM作为极限学习机训练模型的输入，预测得到Sdis的客观质量评价预测值。