[发明专利]基于多方向特征预测先验的单幅图像超分辨率重建方法

说明书

本发明公开了一种基于多方向特征预测先验的单幅图像超分辨率重建方法。主要包括以下步骤：构建特征预测深度卷积神经网络；针对四个方向特征，分别训练构建的网络；利用训练好的网络模型对输入的低分辨率图像进行多方向特征预测；利用上一步骤预测的四类方向特征，构建多方向特征预测先验；构建基于深度卷积神经网络特征预测与降质约束的超分辨率重建代价函数；利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。本发明所述的单幅图像超分辨率重建方法，能够获得很好的主客观效果，且抗噪声性能良好。因此，本发明是一种高性能的单幅图像超分辨率重建方法，在航空航天、交通监控、医学成像、影视娱乐等领域有着极高的应用潜力。

技术领域

本发明涉及图像分辨率提升技术，具体涉及一种基于多方向特征预测先验的单幅图像超分辨率重建方法，属于图像处理领域。

背景技术

随着信息技术的不断发展，高分辨率的图像及视频在航空航天、交通监控、医学成像、影视娱乐等领域有着极高的应用需求。但是受硬件成本、成像环境等多方面因素的制约，以及传输过程中受到的噪声干扰，获取的图像/视频质量有时仍然不能达到实际应用的需求，如存在分辨率不足、噪声干扰、模糊等降质问题。超分辨率重建技术可以对已采集的降质图像及视频进行分辨率提升，具有成本低、实用性强的特点。国内外学者们对超分辨率技术进行了深入的研究，并针对单幅图像的超分辨率重建提出了很多有效的方法。单幅图像超分辨率重建方法主要包含三类：基于插值的方法、基于重建的方法与基于学习的方法。近年来，由于机器学习的发展，基于学习的超分辨率重建方法取到了较大的进步，其中最为典型的就是基于深度学习的超分辨率方法。但是基于深度学习的超分辨率方法直接训练单个网络来将低分辨率图像映射到高分辨率图像，而传统基于重建方法中的图像降质约束在很大程度上被忽略了，所以重建得到的图像可能会产生人工痕迹，限制性能的进一步提升。

发明内容

本发明的目的是提出用于多方向特征预测的深度卷积神经网络，并结合图像降质约束，构建一种高性能的单幅图像超分辨率重建方法。

本发明提出的基于多方向特征预测先验的单幅图像超分辨率重建方法，主要包括以下操作步骤：

(1)针对输入的低分辨率图像，构建一种深度卷积神经网络，用于预测未知的高分辨率特征；

(2)针对每一类方向特征，利用训练图像数据集，训练步骤(1)中构建的网络，总共训练四类方向特征；

(3)利用步骤(2)中训练好的深度卷积神经网络模型对输入的低分辨率图像进行多方向特征预测，得到预测的四类方向特征；

(4)利用步骤(3)预测的四类方向特征，构建多方向特征预测先验；

(5)将降质约束与步骤(4)中构建的多方向特征预测先验进行融合，构建基于深度卷积神经网络与降质约束的超分辨率重建代价函数；

(6)利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。

附图说明

图1是本发明基于多方向特征预测先验的单幅图像超分辨率重建方法的原理框图

图2是本发明特征预测网络的网络结构图

图3是本发明使用的9张测试图像

图4是本发明与四种方法对测试图像“Castle”的重建结果的对比图(超分辨率重建因子为3，高斯模糊核尺寸7×7，标准差1.5)：其中，(a)为测试图像，(b)为低分辨率图像，(c)(d)(e)(f)(g)(h)分别为双三次插值、方法1、方法2、方法3、方法4及本发明的重建结果