[发明专利]融合仿生视觉机制的卷积神经网络图像超分辨率重建方法

权利要求书

1.一种融合仿生视觉机制的卷积神经网络图像超分辨率重建方法，其特征在于，包括：

采用模拟人类视觉注意机制的显著性检测方法，对遥感图像进行显著性区域检测；具体方法如下：

步骤1.1，颜色、亮度特征提取

假设r、g、b分别是输入彩色图像的红、绿、蓝通道，则亮度通道I为：

I＝(r+g+b)/3

根据亮度通道I对r、g、b三个颜色通道进行归一化；图像中亮度IMaxinum/10的像素进行归一化，I≤Maxinum/10的像素置零，其中Maxinum为图像中所有亮度值中最大值；根据归一化后的r、g、b值，通过计算得到红、绿、蓝、黄四个颜色通道，对其值进行非负约束，将小于0的值用0代替；计算公式如下：

R＝r-(g+b)/2

G＝g-(r+b)/2

B＝b-(r+g)/2

Y＝(r+g)/2-|r-g|/2-b

对计算得到的四个颜色通道R、G、B、Y以及亮度I进行高斯降采样，得到各自的高斯金字塔I_σ、R_σ、G_σ、B_σ、Y_σ，建立的高斯金字塔为9层；

步骤1.2，方向特征提取

采用Gabor滤波器提取方向特征，二维Gabor公式为：

Gabor滤波器是被复正弦函数调制的高斯函数，其中α、β分别为高斯包络在x和y方向上的标准差，λ和θ_k分别为正弦波的波长和方向，其中：

x_θk＝xcos(θ_k)+ysin(θ_k)

y_θk＝-xsin(θ_k)+ycos(θ_k)

选取θ_k＝{0°,45°，90°,135°}四个方向的Gabor滤波器的输出为方向特征，计算得到四个方向的方向特征图；

步骤1.3，特征映射图构建

在得到特征映射图时，采用Center-Surround方法，计算方法如下：

I_σ(c,s)＝|I_σ(c)ΘI_σ(s)|

R_σG_σ(c,s)＝|(R_σ(c)-G_σ(c))Θ(R_σ(s)-G_σ(s))|

B_σY_σ(c,s)＝|(B_σ(c)-Y_σ(c))Θ(B_σ(s)-Y_σ(s))|

O_σ(c,s,θ)＝|O_σ(c,θ)ΘO_σ(s,θ)|

其中，c∈{2,3,4}，s＝c+δ,δ∈{3,4}；参数c指精细尺度，参数s指粗尺度；Θ代表图像矩阵相减，I_σ是亮度特征图，R_σG_σ和B_σY_σ是颜色特征图，O_σ是方向特征图；得到6幅亮度特征映射图、12幅颜色特征映射图和24幅方向特征映射图，共计42幅特征映射图；

步骤1.4，显著图生成

利用马尔可夫链对生成的特征映射图M:[n]²→R进行规范合并，构建对应显著图A:[n]²→R，步骤如下：

M(i,j)、M(m,n)分别为节点(i,j)、(m,n)的特征；M(i,j)、M(m,n)差异性距离定义为

将特征图每个像素与其他像素均连接起来构成全连通图G_A：将M中的每一个顶点与其他的n-1个顶点连接起来，为点(i,j)到点(m,n)的有向边定义权重：

其中σ为自由参数；权重ω₁((i,j),(m,n))与两点的差异性、接近度成正比；

在有向图G_A上构造马尔科夫链，规定每个点的出边权重和为1；将显著图A:[n]²→R进行规范化，使得显著性像素值集中在关键区域；再根据A定义全连通图G_C，在图上求解马尔科夫链的平衡状态，得到最后的显著性图；

针对显著性区域，采用基于卷积神经网络的图像超分辨率重建方法，进行超分辨率重建；

对非显著区域，采用双三次插值法，进行超分辨率重建。