[发明专利]一种语义分割驱动的图像超分辨率重构方法

说明书

本发明属于数字图像处理技术领域，具体为一种语义分割驱动的图像超分辨率重构方法。本发明方法具体包括：分别独立训练图像超分辨率网络和语义分割网络模型；级联独立训练的超分辨率网络和语义分割网络；在语义分割任务的驱动下，训练超分辨率网络；低分辨率图像通过任务驱动的网络处理后，获得准确的语义分割结果。实验结果表明，本发明能够使得超分辨率网络更好地适应分割任务，为语义分割网络提供清晰、分辨率高的输入图像，有效提高低分辨率图像的分割精确度。

技术领域

本发明属于数字图像处理技术领域，具体涉及一种图像超分辨率重构方法，更具体地说，涉及一种语义分割驱动的图像超分辨率重构方法。

背景技术

语义分割是计算机视觉领域的基础任务之一，它将像素按照不同的语义分成不同的类别，在自动驾驶、图片内容理解等方面有着广泛的应用。近年来，深度卷积神经网络(deepconvolutional neural network,DCNN)不仅在图像分类任务上有了长足的进步，而且在一些结构化输出的任务中，如语义分割，取得了突破性的进展。

2015年，Long等人^[1]提出FCN(fully convolutional neural network)，首次将DCNN应用于像素级分类的语义分割任务。为了保持感受野，FCN中用的池化层较多，导致特征图分辨率较小，分割结果粗糙。Chen等人为了提高特征图分辨率同时不降低感受野，提出了Deeplab系列的方法^[2-4]，引入了空洞卷积，优化网络的输出，在PASCAL VOC 2012^[5]的测试集上达到的86.9％的准确率。然而，在语义分割中，分割图像中的小物体仍然是很大的挑战。

图像超分辨率重构是一种有效提升图像分辨率、丰富图像内容的技术手段，可以有效增强小物体或低分辨率图像中物体的视觉效果。早期基于插值的重构方法很难模拟复杂的真实场景。随着DCNN的发展，也出现了很多基于神经网络的超分辨率重构方法。

2015年，Dong等人^[6]提出SRCNN(Super-Resolution Convolutional NeuralNetwork)，将低分辨率图像作为输入，高分辨率图像作为标签，通过优化目标函数，让DCNN学习低分辨率图像和高分辨率图像之间的映射关系。2016年，Kim等人^[7]加深了网络架构，用插值的图像作为输入，堆叠多个卷积层，并使用残差的结构加速网络收敛，取得了更好的重构效果。

上述超分辨率重构方法皆是以提升人眼的感官效果为目的，但是肉眼所看到的图像和机器看到的图像并不相同^[8]。针对具体任务而不仅仅是肉眼的感官效果增加图像的分辨率，将有利于提高具体任务的效果。提出一种语义分割驱动的超分辨率重构方法用于提高小物体或者低分辨率图像中物体的语义分割精确度具有很强的实用价值。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种语义分割驱动的图像超分辨率重构方法，让超分辨率网络能够在语义分割的驱动下更新参数，提高低分辨率图像的语义分割的准确度。

本发明提供的语义分割驱动的图像超分辨率重构方法，具体步骤如下：

(1)分别独立预训练图像超分辨率网络和语义分割网络模型

用数据集训练超分辨率网络，其中，是低分辨率图像，作为超分辨率网络的输入，是高分辨率图像，作为训练过程的标签；所用的超分辨率网络是一个端到端的网络，可以为VDSR^[7]、EDSR^[9]或SRCNN^[6]等；