[发明专利]基于分段堆栈式自编码器的立体图像质量评价方法

权利要求书

1.一种基于分段堆栈式自编码器的立体图像质量评价方法，在无监督条件下，将从和图、差图和单眼图中提取的初级边缘特征和输入三个训练好的分段堆栈式自编码器S-SAE，得到抽象的深层边缘特征和然后使用堆栈式自动编码器SAE对色彩图的初级色彩特征进行编码，得到抽象的深层色彩特征最后通过将立体图像的深层特征向量和对应的MOS值进行拟合，进而利用待测立体图像的深层特征向量预测其质量分数，包括以下步骤：

第一步：合成左右LoG图的和图S、差图D和单眼图C

使用高斯拉普拉斯LoG滤波器对图像对进行滤波，将图像对输入n×n高斯低通滤波器，能得到左右LoG图，将LoG的参数设置为(n,σ)∈{(3,0.5),(7,1),(13,2)}，其中σ为高斯拉普拉斯算子的标准差，由此获取三种边缘厚度的左右LoG图；然后，计算各个左右LoG图的和图、差图和单眼图；

第二步：提取和图、差图和单眼图的初级边缘特征和

利用广义高斯分布GGD模型拟合和图的MSCN系数直方图，将GGD的方差和形状参数作为和图的2个特征；利用4个非对称广义高斯分布AGGD模型分别拟合和图的水平、竖直、主对角线、次对角线这4个方向的MSCN邻域系数直方图，将上述4个AGGD模型的均值、方差、形状、尺寸这4个参数作为和图的特征，提取出16个特征；此外，将和图的幅度、方差、熵信息作为和图的3个特征；由于有三种边缘厚度的左右LoG图，故有三种边缘厚度的和图；依据上述步骤，每种边缘厚度的和图提取21维特征向量，最终从和图中提取出63维初级边缘特征向量

差图和单眼图的特征提取方法与和图相同，从差图和单眼图均提取出63维初级边缘特征向量和

第三步：训练3个分段堆栈式自编码器S-SAE

随机选择图像库中50％的图像对训练三个分段堆栈式自编码器S-SAE，将从和图、差图和单眼图中提取到的初级边缘特征和作为样本分别训练三个分段堆栈式自编码器S-SAE；

每个分段堆栈式自编码器S-SAE由3个局部堆栈式自编码器local SAE组成；根据图像边缘厚度不同，分段堆栈式自编码器将输入的分为三段，每段21个特征，输入到3个local SAE中，分别对这3个local SAE进行训练；训练得到3个具有三层隐藏层的localSAE，且3个local SAE各层单元数均为21-18-14-12，最后将local SAE的输出层串联，得到和图的分段堆栈式自编码器S-SAE-S；

根据上述步骤，训练得到差图的分段堆栈式自编码器S-SAE-D和单眼图的分段堆栈式自编码器S-SAE-C，且这两种S-SAE的local SAE各层单元数均为21-18-14-12；

第四步：提取和图、差图和单眼图的深层特征和

将和输入训练好的S-SAE-S、S-SAE-D和S-SAE-C，三个分段堆栈式自编码器将和分别编码为抽象的深层边缘特征和

第五步：提取色彩图的初级色彩特征向量

用6个AGGD模型分别拟合左图的三个色彩图：RG图、BY图和Lum图和右图的三个色彩图：RG图、BY图和Lum图，提取AGGD模型的形状、左方差和右方差，同时计算这6个AGGD模型的峰度、偏度值；共提取出30维初级色彩特征向量

第六步：提取色彩图的深层色彩特征向量

随机选择图像库中50％的图像对训练一个堆栈式自编码器SAE，该堆栈式自编码器的各层单元数为30-25-20-15，将输入训练好的SAE，SAE将编码为抽象的深层色彩特征向量

第七步：计算立体图像局部质量分数

随机选择图像库中80％的图像对作为训练集，利用训练集中图像对的与相应的MOS训练对应的支持向量回归机SVR-S；把图像库中剩余20％的图像对作为测试集，利用SVR-S预测和图的质量分数用上述方法，得到差图、单眼图和色彩图的质量分数，分别为和

第八步：计算立体图像的客观质量分数

(1)利用动态权重计算与边缘信息相关的局部质量分数

将和图质量分数与差图质量分数进行加权，得到和差图质量分数Q_SD：

Q_SD＝W_DQ_D+(1-W_D)Q_S

其中，差图的权重μ_L和μ_R是L和R的期望，σ_L,σ_R是方差，C₁，C₂是定值，C₁＝0.6，C₂＝5；

将和差图质量分数与单眼图分数合并，得到边缘特征质量分数Q_edge：

Q_edge＝W_CQ_C+(1-W_C)Q_SD

其中，C₃，C₄是定值，C₃＝0.55，C₄＝0.8；

(2)计算立体图像质量分数

给边缘的质量分数分配更高的权重：

Q＝W_edgeQ_edge+W_colorQ_color

其中边缘权重W_edge＝0.8、色彩权重W_color＝0.2、Q_color为色彩图的质量分数。