[发明专利]一种面向单幅图像去运动模糊的感知质量盲评价方法

权利要求书

1.一种面向单幅图像去运动模糊的感知质量盲评价方法，其特征在于，包括以下步骤：

步骤1、基于去模糊集Gopro以及质量评价集TID2013和Waterloo，利用一种加模糊算法和全参考指标DISTS，构建用于去模糊感知质量评价的数据集DeblurQA；

步骤2、以预训练模型和特征提取模块组合，构建针对deblur质量的可训练、可导的多分辨CNN评价模型；

步骤3、采用分类预训练+质量得分预测的两阶段网络训练方法，建立排序+回归的联合损失函数；

步骤2所述的以预训练模型和特征提取模块组合，构建针对deblur质量的可训练、可导的多分辨CNN评价模型，该多分辨CNN评价模型为多分辨深度特征聚合网络，由深度特征图提取、多分辨率特征计算、聚合与回归3个模块组成，具体如下：

步骤2.1、在深度特征图提取模块中，图像中任意固定大小块进入网络后，经过连续“卷积—池化”的降分辨率操作，得到由表层到抽象的特征图表达

式中h(·)表示该模块，为减少整个模型的参数量，采用在ImageNet上预训练的VGG19网络前3层；w₁、w₂和w₃为对应层参数；X₁～X₄为进入下阶段的特征图；

步骤2.2、在多分辨率特征计算模块中，将每组特征图经过1个多分辨特征计算网络，得到各自的特征向量；每个分辨率的特征计算模块采用适应当前分辨率的MEON结构，输出相同维数的向量S_k：

S_k＝f_k(X_k),k＝1～4    (3)

其中f_k表示与特征图对应的计算网络；

步骤2.3、在聚合与回归模块中，将步骤2.2得到的特征向量聚合，回归到得分或类别：

其中S_A＝[S₁,S₂,S₃,S₄]，g(·)表示聚合与回归模块，表示最终的预测值。

2.根据权利要求1所述的面向单幅图像去运动模糊的感知质量盲评价方法，其特征在于，步骤1所述的基于去模糊集Gopro以及质量评价集TID2013和Waterloo，利用一种加模糊算法和全参考指标DISTS，构建用于去模糊感知质量评价的数据集DeblurQA，具体如下：

步骤1.1、从去模糊集Gopro以及质量评价集TID2013和Waterloo中选择清晰图像作为纯净图像即参考图像，参考图像样本包含人物、动物、植物、交通工具、建筑、风景、纹理细节、指示牌场景；

步骤1.2、采用加模糊算法产生模糊样本，用6种去模糊算法对样本进行处理，调整算法的核尺寸参数，每幅模糊样本共得到10幅处理结果，去除因场景和参数不合适而无法运行的2例，余下1418幅作为失真图像集；

步骤1.3、用DISTS对每幅失真图像的评分经过式(1)的映射作为图像的伪MOS值pMOS：

其中x、x_ref、minD和maxD分别表示失真图像、对应的参考图像、失真图像库中DISTS值的最小值和最大值。

3.根据权利要求1所述的面向单幅图像去运动模糊的感知质量盲评价方法，其特征在于，步骤3所述的采用分类预训练+质量得分预测的两阶段网络训练方法，建立排序+回归的联合损失函数，具体如下：

步骤3.1、第一阶段，将纯净图像看作正例，去模糊图像看作负例，进行分类训练，对纯净图像过采样10倍作为正例；

记模型为f(·)、输入图像为x、图像对应的标签为y、一次训练批量为m，分类阶段损失函数l₁表示为

步骤3.2、第二阶段，分类训练结束后，保持特征层即卷积层不变，重置全连接层参数；考虑两幅去模糊后的图像及伪MOS值组成的样本(x₁,y₁)、(x₂,y₂)，假设y₁＞y₂，当模型预测的排序f(x₁)＜f(x₂)，则进行惩罚；Rank损失有硬边距和软边距两类，硬边距rank使图像质量顺序对呈固定间隔的均匀分布：

l_H＝max[0,f(x₂)-f(x₁)+δ]    (6)

其中，l_H表示硬边距损失函数，正数δ为硬边距；

而软边距损失用余弦不确定性加权x₁超过x₂的logistic损失：

其中l_S为软边距损失函数；T_c为不确定性参数，取值为数据集中伪MOS值标准差的2倍；

结合2种回归损失函数，联合损失函数l_{2_1}为

式中，L_smooth(·)代表Huber损失

其中，(x,y)分别取(x₁,y₁)、(x₂,y₂)；

式(8)中等号右边的第3项表示网络所有可训练层权值的L₁范数正则项，λ₁和λ₂分别为rank项和正则项的加权系数，w表示各层的权值。