[发明专利]基于多任务卷积神经网络的图像模糊与噪声评测方法

权利要求书

1.基于多任务卷积神经网络的图像模糊与噪声评测方法，其特征在于，所述方法包括：

步骤1：收集失真和对应高质的图片，对收集的图片进行人脸检测和对齐处理，然后再进行标定包括：模糊类型标定，模糊程度标定，噪声水平标定，标定后的图片组成数据集；

步骤2：用步骤1生成的数据集样本训练多任务卷积神经网络，得到用于图像模糊与噪声评测的网络模型；该网络模型共有三个任务输出，分别对应：模糊类型判定、模糊度估计、噪声水平估算；该网络模型融合多个卷积层得到全连接层，全连接层中包括三个特征层：模糊度估计特征层、模糊类型判定特征层、噪声水平估计特征层；融合的方法为：对最后一个卷积层分别进行最大和平均的全局池化操作，对得到的融合结果分别做规范化后，对得到的两个特征向量级联作为图像表示；对浅层卷积层进行同样的操作得到浅层图像表示后，对两个图像表示做二次级联得到最终图像表示；

步骤3：对一张已经检测和对齐的人脸图片，输入到步骤2得到的网络模型中，进行图像模糊类型判定、模糊度估计、噪声水平估计得到：模糊度估计值a，为最终模糊度评测值，得到运动模糊与失焦模糊概率pi，如果a小于阈值C，则判定结果为图像清晰，否则最终模糊类别判定结果为概率大的类别；得到噪声水平估计值b，为最终噪声水平估计值。

2.根据权利要求1所述的基于多任务卷积神经网络的图像模糊与噪声评测方法，其特征在于，模糊类型包括：运动模糊和失焦模糊，模糊度为一个0至1的对图片整体模糊程度的主观评价值。

3.根据权利要求1所述的基于多任务卷积神经网络的图像模糊与噪声评测方法，其特征在于，模糊类型判定的目标函数为：

多任务卷积神经网络预测两个值，模糊类型包括：运动模糊和失焦模糊，设定若标定的图片模糊度大于阈值α，认为存在模糊，l＝1；若图片标定的模糊度小于α，认为图片不存在模糊，l＝0；使用softmax损失函数作为目标函数：

loss₁＝l(-(1-g)log(1-p₁)-glog(p₂))

其中，loss₁为模糊内类判定的损失值，l为图像标定的模糊类别；若图片为运动模糊g＝0，否则g＝1，p₁,p₂是网络计算出的两个概率值，p₁表示图片为运动模糊的概率，p₂表示图片为失焦模糊的概率。

4.根据权利要求1所述的基于多任务卷积神经网络的图像模糊与噪声评测方法，其特征在于，模糊度估计的目标函数为：

多任务卷积神经网络预测模糊度，根据学习模糊度判断图像是否需要进行去模糊操作，使用欧氏距离的loss函数去学习图像模糊度为：

其中，loss₂为模糊度估计的损失值，d'为预测的模糊度，d为图像模糊度的主观评价值。

5.根据权利要求1所述的基于多任务卷积神经网络的图像模糊与噪声评测方法，其特征在于，噪声水平估计的目标函数为：

网络预测噪声水平，使用欧氏距离的loss函数去学习图像的噪声水平，计算式如下：

'

其中，loss₃为噪声水平估计的loss值，n为预测的噪声水平，n为图像噪声水平的主观评价值。

6.根据权利要求1所述的基于多任务卷积神经网络的图像模糊与噪声评测方法，其特征在于，多任务卷积神经网络的总loss函数为loss₁、loss₂、loss₃函数的加权之和，计算方式如下：

其中，loss₁为模糊内类判定的损失值，loss₂为模糊度估计的损失值，loss₃为噪声水平估计的loss值，λ_t为预设的三个任务的权重系数，loss_t对应多任务卷积神经网络的模糊类别判定损失，模糊度估计损失，噪声水平估计损失。