[发明专利]一种优化稀疏系数的单幅图像超分辨率方法

权利要求书

1.本发明提出了一种新的图像超分辨率的方法，其包括离线的训练过程和在线的对图像放大的过程，利用其在线过程和离线过程所存储的训练结果，可以仅根据一幅低分辨率的图像，获得一幅高分辨率的图像，其离线的训练过程包括以下所述的步骤A1到A10，其在线的超分辨率放大的过程包括以下所述的步骤B1到B10；

由于对于离线的训练阶段和在线的训练阶段都需要进行图像块的特征提取，所以在这里先阐述在本发明中对输入图像块B_in产生输出图像块输出矢量f_out的步骤C1：

C1)输入：图像块B_in，输出：图像块B_in的输出特征矢量f_out，输入图像块B_in，大小为w×h，对图像块B_in进行DCT变换，得到和B_in同样大小的DCT系数块B_DCT，对图像块B_in进行一阶水平梯度的运算，可以得到大小为(w-1)×h的块B_h，对图像块B_in进行一阶垂直梯度的运算，可以得到大小为w×(h-1)的块B_v，对图像块B_in进行二阶的Laplace算子的运算，可以得到大小为(w-1)×(h-1)的块B_Laplace，然后，对图像块B_in进行矢量化操作，按照从上到下，从左到右的顺序把其中的元素放到矢量f_in中，即B_in中的元素B_in(i，j)为矢量f_in中的第w*(i-1)+j个元素，f_in的大小为(w*h)×1；对块B_DCT进行矢量化操作，可以得到矢量f_DCT，大小为(w*h)×1；对块B_h进行矢量化操作得到矢量f_h，大小为((w-1)*h)×1；对块B_v进行矢量化操作得到矢量f_v，大小为(w*(h-1))×1；对块B_Laplace进行矢量化操作得到矢量f_Laplace，大小为((w-2)*(h-2))×1；把得到的矢量进行叠加工作，得到矢量f_out＝[(f_in)^T，(f_DCT)^T，(f_h)^T，(f_v)^T，(f_Laplace)^T]^T，其中f^T为矢量f的转置运算；

离线的训练过程的输入为大量的高分辨率的图像，输出为主成分分析法获得的变换矩阵T_l1和T_l2，低分率图像特征矢量的各类别的中心的位置矢量，每个类别训练好的神经网络，即这个神经网络中各参数都优化地确定了其数值，然后，存储输出信息供在线超分辨率放大过程使用，此过程的步骤为：

A1)从训练图像集中的每一幅高分辨率图像f_i^h(x，y)，提取其对应的低分辨率的图像f_i^l(x，y)，这里，采用卷积和下采样的操作得到低分辨率的图像，以模拟从高分辨率图像退化到低分辨率图像的过程，其卷积模板为截断的高斯函数：

其模板大小为m₁×m₁，在本发明中m₁＝6，w为所有模板元素累加之和，即对高分辨率的图像执行以下操作

其中，s_w是水平方向要放大的倍数，s_h是垂直方向要放大的倍数，符号“↓”表示下采样；

A2)对得到的高分辨率图像和低分辨率图像进行分块操作，每个低分辨率图像块的大小为w_l×h_l，相邻的低分辨率的图像块之间的重叠区域的大小为o_l×h_l，则所对应的高分辨率图像块的大小为(w_l*s_w)×(h_l*s_h)，这样，可以得到很多低分辨率的图像块im_low和所对应的高分辨率图像块im_high；

A3)对所有低分辨率的图像块im_low进行特征提取的操作，把图像块im_low作为以上阐述的步骤C1中的输入，可以得到输出矢量f_out1，由于矢量f_out1的维数太大，不便于处理，采用主成分分析法，即principle component analysis method，对f_out1进行降维，得到主成分分析法中的变换矩阵T_l1，并输出特征矢量f_low1，在本发明中f_low1的维数为f_out1维数的1/10，存储这个变换矩阵T_l1，供在线过程使用；

A4)对所有低分辨率的图像块im_l进行双三次的插值的放大，放大倍数为s_w×s_h，得到图像块im_m，把图像块im_m作为以上阐述的步骤C1中的输入，可以得到输出特征矢量f_out2，然后对f_out2采用主成分分析方法进行降维，得到变换矩阵T_l2，并输出特征矢量f_low2，在本发明中f_low2的维数为f_out2维数的1/20，存储这个变换矩阵T_l2，供在线过程使用；

A5)把矢量f_low1和f_low2进行矢量叠加，得到低分辨率块特征矢量f_low，即f_low＝[(f_low1)^T，(f_low2)^T]^T；

A6)对高分辨率的图像块im_high进行特征提取的操作，把图像块im_high作为以上阐述的步骤C1中的输入，可以得到输出矢量f_ho，然后对矢量f_ho进行主成分分析降维，得到输出特征矢量f_high，和变换矩阵T_h，在本发明中f_high的维数为f_ho维数的1/10；

A7)根据所提出的“抓娃娃”的方法，对所有图像块特征矢量f_low进行聚类操作，在完成聚类之后，存储所有的类别的中心点的位置，以供在线的超分辨率放大的过程使用；

A8)对每一类中的数据，训练能稀疏表示其中数据的低分辨率的字典和高分辨率的字典，对于第c^*类，将使用压缩感知中的最优匹配跟踪法，即optimal matching pursuit方法，来求取其低分辨率的字典D^l(c^*)和高分辨率的字典D^h(c^*)；

A9)对每一类中的数据，确定其低分辨率的稀疏表示的系数、和高分辨率的稀疏表示的系数，以利用这些系数训练这一类的神经网络，其中，对于第c^*类，利用K-SVD(K-奇异值分解)方法来求解以下优化问题，得到低分辨率块的稀疏表示系数

其中f_low(c^*，m)为第c^*类当中的第m个低分辨率块的特征矢量，其获取方法如以上特征提取部分A5步骤所述，||x||_n为矢量x的n范数，λ_l1表示拉格朗日乘子参数，本发明中根据实验优化地设置λ_l1＝0.5，α为需要最小化式(12)中目标函数的变量，α_l(c^*，m)是求解的结果，类似地，利用K-SVD方法求解如下目标函数，得到对应的高分辨率块的稀疏表示系数

其中f_high(c^*，m)为第c^*类当中的第m个高分辨率块的特征矢量，其获取方法如以上特征提取部分A6步骤所述，λ_h1表示拉格朗日乘子参数，本发明中根据实验优化的设置λ_h1＝0.5，α为需要最小化式(13)中目标函数而求解的变量，α_h(c^*，m)是求解的结果；

A10)利用每一类的稀疏表示的系数，优化这一类的描述低分辨率稀疏系数和高分辨率稀疏系数之间关系的神经网络中的参数，并存储这个神经网络的参数，以供在线超分辨率放大的过程使用；

在所提出的方法中对每个类c^*，将建立一个神经网络，用来学习这类中低分辨率的稀疏表示的系数α_l(c^*，m)和高分辨率的稀疏表示的系数α_h(c^*，m)之间的关系，所设计的神经网络包括三层，输入层为低分辨率的稀疏表示的系数，输出层为高分辨率的稀疏表示的系数，这里，隐含层神经元个数n_h根据经验公式得到，其中n_i为输入层神经元个数，n_o为输出层神经元个数，δ为1到10的一个经验常数，由仿真实验来优化地确定，在本发明中设置δ＝5，利用这一类c^*中所有的低分辨率的稀疏表示的系数α_l(c^*，m)、和高分辨率的稀疏表示的系数α_h(c^*，m)，和反向传播方法，即back propagation method，来训练这个神经网络，以确定这个神经网络中各神经元中的参数；

至此，所有离线的训练阶段的实施方式已阐述清楚，下面介绍本发明中，在线的仅利用输入的一幅低分辨率的图像，进行超分辨率的放大，获得一幅高分辨率的图像的步骤和方法；

B1)输入一幅低分辨率的图像，对其进行分块，每个低分辨率图像块的大小为w_l×h_l，相邻的低分辨率的图像块之间的重叠区域的大小为o_l×h_l，然后，对提取的低分辨率的图像块im_LR进行以下的特征提取操作；

B2)把图像块im_LR作为以上阐述的步骤C1中的输入，可以得到输出矢量f_feature1，然后采用训练阶段步骤A3得到的变换矩阵T_l1对f_feature1进行降维，得到矢量f_LR1，即f_LR1＝T_l1*f_feature1；

B3)对低分辨率的图像块im_LR进行双三次的插值的放大，放大倍数为s_w×s_h，得到图像块im_LRm，把图像块im_LRm作为以上阐述的步骤C1中的输入，可以得到输出矢量f_feature2，然后采用训练阶段步骤A4得到的变换矩阵T_l2对f_feature2进行降维，得到矢量f_LR2，即f_LR2＝T₂*f_feature2；

B4)把矢量f_LR1和f_LR2进行矢量叠加，得到低分辨率块特征矢量f_LR，即f_LR＝[(f_LR1)^T，(f_LR2)^T]^T；

B5)根据矢量f_LR和训练阶段得到的各类的中心，确定离f_LR距离最近的类中心，并把此类中心所在的类c^o，作为矢量f_LR所在的类；

B6)然后，采用K-SVD方法求解以下式(13)中的低分辨率图像块的稀疏表示的系数

其中，

D^l(c^o)和D^h(c^o)分别为训练阶段步骤A8所获得和存储的第c^o类的稀疏表示的低分辨率的字典和高分辨率的字典，矩阵表示矩阵C为矩阵A和矩阵B垂直方向叠加所产生的矩阵，f_LR为以上步骤B5所获得的结果，P是提取当前高分辨率图像块和已重构的高分辨率图像上重叠区域的算子；ω是重叠区域中的元素值；β是需要通过仿真实验优化确定的参数；在本发明中β＝1，λ_l1＝0.5，α是低分辨率图像块的稀疏表示的系数的变量以最小化式(13)中的目标函数，是求解结果；

B7)利用训练阶段步骤A10所获得的第c^o类的神经网络，获得高分辨率块的稀疏表示的系数

B8)利用高分辨率块的稀疏表示的系数得到高分辨率块x_h，这里，通过等式其中D^h(c^o)为以上所述的c^o类的高分辨率的字典，可以得到高分辨率的图像块x_h；

B9)对低分辨率图像中，所有提取的低分辨率的图像块都进行了步骤B2到步骤B8的处理后，会得到很多高分辨率的图像块，把这些高分辨率的图像块进行拼接以后，就可以得到一幅高分辨率的图像X⁰，这里，对于高分辨率图像中图像块的重叠部分，采用求平均值的方法来确定其像素值；

B10)利用梯度下降的方法迭代地求解以下问题，直到所得到的解基本不变为止，最后得到了所要的高分辨率的图像X^h，

其中H是卷积和下采样算子，Y为输入的低分辨率的图像，i表示其迭代求解的次数，X(i)为需要第i次最小化式(17)中目标函数的变量，i≥0，初始时X(0)＝X⁰，X(i+1)为其第i+1次的迭代的求解结果，当X(I)和X(I+1)基本相等时，停止迭代，得到了所要的高分辨率的图像X^h，即X^h＝X(I+1)。