[发明专利]基于分段堆栈式自编码器的立体图像质量评价方法

说明书

本发明涉及一种基于分段堆栈式自编码器的立体图像质量评价方法，在无监督条件下，将从和图、差图和单眼图中提取的初级边缘特征输入三个训练好的分段堆栈式自编码器S‑SAE，得到抽象的深层边缘特征然后使用堆栈式自动编码器SAE对色彩图的初级色彩特征进行编码，得到抽象的深层色彩特征最后通过将立体图像的深层特征向量和对应的MOS值进行拟合，进而利用待测立体图像的深层特征向量预测其质量分数。

技术领域

本发明属图像处理领域，涉及一种无参考立体图像质量客观评价方法。

背景技术

随着立体显示技术的飞速发展，立体显示技术已经广泛应用到各个领域。与平面图像相比，立体图像给观众带来全新的体验和临场感。因此，立体图像处理研究受到人们的广泛关注。但是，因为设备和处理手段等等因素的影响，立体图像在采集、压缩、传输和存储过程中会引入失真，影响立体图像的质量。因此，需要研究一种可以有效评价立体图像质量的评价方法。虽然主观质量评价是非常可靠的评价方法，但是，主观评价方法会消耗大量的人力与时间，实时性差。此外，主观评价方法容易受到人类自身与外在环境因素的干扰，评价结果也不够稳定。相对主观评价，客观评价利用软件评价图像的质量，不需组织人员参与大量主观试验，操作简单，同时与主观评价的结果高度相关，因此，越来越受到相关研究者的关注。

当前，客观立体图像质量评价根据评价过程中是否使用原始图像，主要分为三种方法，分别为全参考立体图像质量评价、部分参考质量评价和无参考质量评价。前两种方法利用原始图像，或者原始图像的部分信息对立体图像做出客观评价，具有很大的局限性。无参考质量评价，也是最符合实际情况的方法。由于对双目特性考虑不充分，对双目处理立体图像过程了解不透彻等问题，立体图像质量评价仍然是当前研究的热点和难点。

发明内容

本发明的目的在于提供一种模拟人眼对立体图像感知和图像处理过程的无参考立体图像质量评价方法。本发明提取立体图像的边缘和色彩等初级特征，通过分段堆栈式自编码器或堆栈式自编码器，将这些初级特征转化为更符合人眼特性抽象的深层级特征，从而对立体图像质量做出更加全面、准确的客观评价。技术方案如下：

一种基于分段堆栈式自编码器的立体图像质量评价方法，在无监督条件下，将从和图、差图和单眼图中提取的初级边缘特征和输入三个训练好的分段堆栈式自编码器S-SAE，得到抽象的深层边缘特征和然后使用堆栈式自动编码器SAE对色彩图的初级色彩特征进行编码，得到抽象的深层色彩特征最后通过将立体图像的深层特征向量和对应的MOS值进行拟合，进而利用待测立体图像的深层特征向量预测其质量分数。包括以下步骤：

第一步：合成左右LoG图的和图(S)、差图(D)和单眼图(C)

使用高斯拉普拉斯LoG滤波器对图像对进行滤波，能得到左右LoG图，将LoG的参数设置为(n,σ)∈{(3,0.5),(7,1),(13,2)}，其中σ为高斯拉普拉斯算子的标准差，由此获取三种边缘厚度的左右LoG图；然后，计算各个左右LoG图的和图、差图和单眼图；

第二步：提取和图、差图和单眼图的初级边缘特征和

利用广义高斯分布GGD模型拟合和图的MSCN系数直方图，将GGD的方差和形状参数作为和图的2个特征；利用4个非对称广义高斯分布AGGD模型分别拟合和图的水平、竖直、主对角线、次对角线这4个方向的MSCN邻域系数直方图，将上述4个AGGD模型的均值、方差、形状、尺寸这4个参数作为和图的特征，提取出16个特征；此外，将和图的幅度、方差、熵信息作为和图的3个特征；由于有三种边缘厚度的左右LoG图，故有三种边缘厚度的和图；依据上述步骤，每种边缘厚度的和图提取21维特征向量，最终从和图中提取出63维初级边缘特征向量

差图和单眼图的特征提取方法与和图相同，从差图和单眼图均提取出63维初级边缘特征向量和

第三步：训练3个分段堆栈式自编码器S-SAE