[发明专利]基于多方向特征预测先验的单幅图像超分辨率重建方法

权利要求书

1.基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于包括以下步骤：

步骤一：针对输入的低分辨率图像，构建一种深度卷积神经网络，用于预测未知的高分辨率特征；

步骤二：针对每一类方向特征，利用训练图像数据集，训练步骤一中构建的网络，总共训练四类方向特征；

步骤三：利用步骤二中训练好的深度卷积神经网络模型对输入的低分辨率图像进行多方向特征预测，得到预测的四类方向特征；

步骤四：利用步骤三预测的四类方向特征，构建多方向特征预测先验；

步骤五：将降质约束与步骤四中构建的多方向特征预测先验进行融合，构建基于深度卷积神经网络与降质约束的超分辨率重建代价函数；

步骤六：利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。

2.根据权利要求1所述的基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于步骤一所述的用于预测未知高分辨率图像特征的深度卷积神经网络：不同于传统的基于深度学习的超分辨率方法直接训练单个网络来将低分辨率图像映射到高分辨率图像，该重建方法构建的深度卷积神经网络能预测输入图像的多个高分辨率方向特征，进而应用于图像超分辨率环节；并且，该模型中使用了提出的预激活残差块，该残差块是由两个卷积层和两个激励层组成，且激励层位于卷积层的前面，理论分析表明该残差块能够避免网络训练过程中出现的梯度消失问题, 其中，激励层采用ReLU函数。

3.根据权利要求1所述的基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于步骤二所述的训练四类方向特征的网络：首先对训练图像数据集进行降质，然后将降质图像数据集与原始图像数据集采用相同的梯度滤波核进行方向特征提取，构建高低分辨率的训练图像对；该重建方法提取0度，45度，90度，135度四个方向的梯度特征，对应梯度滤波核为：

f₁＝[0 0 0；-1 1 0；0 0 0]，f₂＝[-1 0 0；0 1 0；0 0 0]

f₃＝[0 -1 0；0 1 0；0 0 0]，f₄＝[0 0 -1；0 1 0；0 0 0]

此后，利用每一个方向特征对应的训练集，采用最小化二范数损失函数来分别更新该重建方法步骤一中所构建的卷积神经网络的参数，最终得到四个方向特征预测网络。

4.根据权利要求1所述的基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于步骤三与步骤四所述的多方向特征预测先验的构建：利用步骤二中训练好的四类方向特征的网络对经输入的低分辨率图像进行四个方向的特征预测，其中第k个方向的特征预测具体公式如下：

其中Y为低分辨率输入图像，Y↑为双三次插值上采样结果，E_k(·)为梯度特征提取函数，T(x)＝x/510+0.5 为值域变换函数，表示全局残差函数，为第k个方向特征对应的可训练的参数集，为预测的第k个方向特征；

通过上述公式预测的四方向特征该重建方法构建多方向特征预测先验，对图像边缘进行充分约束，对应具体公式如下：

其中X为高分辨率图像。

5.根据权利要求4所述的基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于步骤五与步骤六所述的基于深度卷积神经网络与降质约束的超分辨率重建代价函数的构建与求解：传统的基于深度学习的超分辨率方法很大程度上忽略了图像的降质约束，该重建方法通过最大后验框架，将深度学习与图像降质约束进行了联合，得到了很好的超分辨率效果；构建的基于深度卷积神经网络特征预测与降质约束的超分辨率重建代价函数如下：

其中H为模糊矩阵，D为下采样矩阵，λ为正则化系数；

通过利用TFOCS技术来最优化重建代价函数，可以获得估计的高分辨率图像；实际上，该重建方法还可以适用于图像去噪、图像去模糊、图像修复这些图像复原应用中。