[发明专利]一种基于三并行残差网络的图像超分辨率重建系统

说明书

本发明提出的是一种基于三并行残差网络的图像超分辨率重建系统，该系统包括浅层特征提取模块，深层特征提取模块，图像重建模块；浅层特征提取模块的输出作为深层特征提取模块的输入，深层特征提取模块的输出作为图像重建模块的输入。本发明的有益效果：1）本发明采用偶跳连接的方式，降低了残差网络整体参数的计算量；2）本发明采用PRB中三并行的卷积层，可以使网络同时获取到低频和高频的信息；3）本发明使用GRU网络保留历史输入信息，进而减少了图像细节的损失。

技术领域

本发明是一种基于三并行残差网络的图像超分辨率重建系统，属于图像超分辨率重建技术领域。

背景技术

图像超分辨率重建：图像超分辨率重建技术就是利用一组低质量、低分辨率图像来产生单幅高质量、高分辨率图像；在计算机视觉领域，图像超分辨率重建技术有可能使图像实现从检出水平向识别水平的转化，或更进一步实现向细辨水平的转化；图像超分辨率重建技术可以提高图像的识别能力和识别精度，可以实现目标物的专注分析，从而可以获取感兴趣区域更高空间分辨率的图像，而不必直接采用数据量巨大的高空间分辨率图像的配置。

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现；目前，卷积神经网络被广泛应用于图像超分辨率重建技术领域；但是随着卷积神经网络的深度不断增加，在对图像超分辨率进行重建时，卷积神经网络的训练过程中很容易丢失图像的细节信息。

残差网络是由来自Microsoft Research的4位学者提出的卷积神经网络，在2015年的ImageNet大规模视觉识别竞赛（ImageNet Large Scale Visual RecognitionChallenge, ILSVRC）中获得了图像分类和物体识别的优胜；残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。

发明内容

本发明提出的是一种基于三并行残差网络的图像超分辨率重建系统，其目的旨在解决由于卷积神经网络深度的增加导致图像前向传播过程中图像细节容易丢失的问题。

本发明的技术解决方案：一种基于三并行残差网络的图像超分辨率重建系统，该系统包括浅层特征提取模块，深层特征提取模块，图像重建模块；浅层特征提取模块的输出作为深层特征提取模块的输入，深层特征提取模块的输出作为图像重建模块的输入。

进一步地，所述浅层特征提取模块包括第一卷积层；第一卷积层具体如公式（1）：

（1）；

其中，表示输入的低分辨率图像，表示经过浅层特征提取模块的输出，表示卷积操作，表示滤波器的权重，表示偏置，表示激活函数。

进一步地，所述第一卷积层的卷积核大小为3×3，输入通道为3，输出通道为64；所述激活函数采用ReLU函数；所述浅层特征提取模块的输出包括从输入的低分辨率图像中提取的像素点的细粒度信息，所述细粒度信息包括图像的颜色、纹理、边缘信息。

进一步地，所述深层特征提取模块包括个PRB块，第二卷积层，瓶颈层；浅层特征提取模块的输出在个PRB块之间传输的过程中，每经过两个PRB块，便将两个PRB块得到的特征图一起直接输出到瓶颈层，同时偶数PRB块得到的特征图与前一个PRB块得到的特征图做元素和后作为偶数PRB块的输出，偶数PRB块的输出作为下一个PRB块的输入，最后一个PRB块的输出经过第二卷积层后也输出给瓶颈层。

进一步地，所述个PRB块为奇数个；其中，每个PRB块的输出如下式（3）所示：

（3）；

其中，表示第个PRB块的作用，为第个PRB块输入，为第个PRB块的输出结果,。