[发明专利]一种基于深度网络特征间重要性的图像质量评估方法

说明书

本发明公开了一种基于深度网络特征间重要性的图像质量评估方法，该方法在端到端的神经网络模型训练中加入了判别特征图间重要性关系的模块，能够更准确的预测图像质量，并且在各个图像质量评估(IQA)数据集上展现出较强的泛化能力。具体包括步骤：1)准备训练测试网络模型所用的图像质量评估数据集，将图像质量评估数据集按照图像内容随机划分为训练集和测试集；2)将SeNet模块加入VGG‑16网络以搭建用于图像质量评估的多个不同组合方式的神经网络模型VGG^*‑SE，使用训练数据集分别对其进行训练，当训练的模型在测试数据集上达到预期的精度，选择此模型作为最终模型，并保存网络模型训练后的参数；3)使用选取的最终模型计算测试集的预测精度。

技术领域

本发明属于计算机图像处理领域，特别是涉及一种基于深度网络特征间重要性的图像质量评估方法。

背景技术

图像质量评估作为图像处理领域的基础内容，在许多领域有其广泛的实用性，比如图像压缩、视频编解码、视频监控等。由于在很多实际应用中，很难获得待评估图像的参考图像，所以开发有效的无参考图像质量评估(NR-IQA)方法变得日益重要；NR-IQA方法主要包含传统方法和深度学习的方法。传统的方法主要是利用手动提取的与人眼感知相关的低级特征，并通过浅层回归的方法来评估图像的质量。这种方法的主要缺点是手动提取的低级特征不足以呈现图像的复杂结构和失真程度。因此，近年来，深度学习的方法得到了广泛的发展。主要是因为它只需要利用卷积神经网络强大的学习能力自动提取与失真相关的深度特征来评估图像的质量。但是，随着网络深度的增加，IQA数据集不足和缺乏样本标签的问题一直阻碍着此方法的发展。

针对以上问题，目前的许多研究都采用将图像分块输入网络的方法来增加样本量，但依旧由于样本太少而导致只能使用较浅层的神经网络，最终使得预测效果不准确。直至后来有研究者从排序的思想得到启发，先借助图像质评领域外的大量图像数据集预训练网络对失真图片等级排序，后用IQA领域的小数据集，以图像作为输入直接对预训练网络进行微调来评估图像的质量。这样递进式的两步训练法极大的解决了数据集不足带来的过拟合以及只能使用浅网络而不能充分表达图像与分值之间映射关系的问题。但由于此法中深度神经网络卷积层后所有特征图是以相同的重要性传递给下一层，没有考虑过卷积层后的特征图间重要性关系，从而影响预测效果。

发明内容

针对目前以图像作为网络输入方法的不足，本发明提供了一种基于深度网络特征间重要性的图像质量评估方法。此网络是把图像分类领域用的SeNet网络引入到IQA的问题中，使其很容易区分出把图送入IQA网络后造成的卷积层中不同通道特征间差异性关系。即通过 SeNet网络可以自适应地学习这种差异性关系，从而突出对区分失真程度有利的特征，抑制不利于区分失真程度的特征。通过理论分析和实验验证相结合的方法，确定了此深度网络中 SeNet的最佳位置以及最佳参数，使得此网络结构可以最大化IQA的预测效果，并且在多个数据库下的表现都高于目前流行的NR-IQA方法。

本发明采用如下技术方案来实现的：

一种基于深度网络特征间重要性的图像质量评估方法，包括以下步骤：

1)准备训练测试网络模型所用的图像质量评估数据集，将图像质量评估数据集按照图像内容随机划分为训练集和测试集；

2)将SeNet模块加入VGG-16网络以搭建用于图像质量评估的多个不同组合方式的神经网络模型VGG^*-SE，使用训练数据集分别对其进行训练，当训练的模型在测试数据集上达到预期的精度，选择此模型作为最终模型，并保存网络模型训练后的参数；

3)使用选取的最终模型计算测试集的预测精度。