[发明专利]一种基于神经网络的图像超分辨率重建方法及设备

权利要求书

1.一种基于神经网络的图像超分辨率重建方法，其特征在于，所述神经网络包括：特征提取模块、感受野与通道融合模块和图像重建模块；其中，所述感受野与通道融合模块包括：多个包括感受野融合单元和通道信息融合单元的信息融合组；

所述图像超分辨率重建方法包括：

将目标图像输入至所述特征提取模块，通过所述特征提取模块输出与所述目标图像对应的第一输出特征图；

将所述第一输出特征图输入所述感受野与通道融合模块，通过所述感受野与通道融合模块中各个信息融合组依次进行特征映射后，得到所述感受野与通道融合模块输出与所述第一输出特征图对应的第二输出特征图；

将所述第二输出特征图输入所述图像重建模块，通过所述图像重建模块输出与所述目标图像对应的超分辨率重建图像；

所述感受野融合单元包括：多个对应不同尺度卷积核的第一卷积层和感受野融合层；

所述将所述第一输出特征图输入所述感受野与通道融合模块，通过所述感受野与通道融合模块中各个信息融合组依次进行特征映射后，得到所述感受野与通道融合模块输出与所述第一输出特征图对应的第二输出特征图的步骤包括：

输入至所述感受野与通道融合模块的第一输出特征图，依次输入至各个信息融合组内的所述第一卷积层、各个第一卷积层输出的多个三维特征图及其像素值的相加和依次输入至通道信息融合单元和感受野融合层，得到由所述感受野融合层输出的与所述第一输出特征图对应的第二输出特征图。

2.根据权利要求1所述的基于神经网络的图像超分辨率重建方法，其特征在于，输入至所述感受野与通道融合模块的第一输出特征图，依次输入至各个信息融合组内的所述第一卷积层、各个第一卷积层输出的多个三维特征图及其像素值的相加和依次输入至通道信息融合单元和感受野融合层，得到由所述感受融合层输出的与所述第一输出特征图对应的第二输出特征图的步骤包括：

将所述第一输出特征图输入第一信息融合组的感受野融合单元，通过所述第一信息融合组的感受野融合单元的多个第一卷积层输出与所述第一输出特征图相对应的多个不同感受野的三维特征图；

将多个不同感受野的三维特征图的像素值相加后输入第一信息融合组的通道信息融合单元，通过所述第一信息融合组的通道信息融合单元输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图；

将各个三维特征图、与各个三维特征图对应的通道信息权值输入至所述感受野融合层，通过所述感受野融合层得到与所述第一输出特征图对应的第一感受野融合特征图；

将第二信息融合组中的感受野融合单元和通道信息融合单元依次作为目标输入单元，将所述第一感受野融合特征图作为目标输入特征图；

将所述目标输入特征图依次输入到所述目标输入单元，通过所述目标输入单元中的通道信息融合单元输出第二感受野融合特征图；

将所述第二感受野融合特征图作为目标输入特征图，并将位于所述目标输入单元后一组的信息融合组中的感受野融合单元和通道信息融合单元依次作为目标输入单元；

继续执行将目标输入特征图输入到所述目标输入单元，通过所述目标输入单元得到感受野融合特征图的步骤，直至通过第k层目标输入组输出第k感受野融合特征图，得到所述感受野与通道融合模块输出的第二输出特征图，其中，k为正整数。

3.根据权利要求2所述的基于神经网络的图像超分辨率重建方法，其特征在于，所述通道信息融合单元包括：压缩层、第一全连接层和第二全连接层；

所述将多个不同感受野的三维特征图的像素值相加后输入第一信息融合组的通道信息融合单元，通过所述第一信息融合组的通道信息融合单元输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图的步骤包括：

所述将多个不同感受野的三维特征图输入压缩层，通过所述压缩层输出对所述第一感受野融合特征图进行平均池化后的压缩特征图；

将所述压缩特征图输入至第一全连接层，通过所述第一全连接层输出对所述压缩特征图进行降维处理后的低维特征图；

将所述低维特征图进行非线性映射得到的非线性特征图分别输入至多个所述第二全连接层，通过各个所述第二全连接层输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图。