[发明专利]一种基于特征处理的图像信息融合及超分辨率重建方法

权利要求书

1.一种基于特征处理的图像信息融合及超分辨率重建方法，其特征在于，包括以下步骤：

对高分辨率参考图像和低分辨率输入图像进行图像预处理：对高分辨率参考图像进行下采样，得到与低分辨率输入图像的清晰度相匹配的低分辨率参考图像；并对低分辨率输入图像和低分辨率参考图像进行相同的上采样；

对高分辨率参考图像、上采样后的低分辨率参考图像和低分辨率输入图像进行特征信息提取处理，得到高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图；并对得到的特征图进行图像信息匹配、转移和融合处理：

对高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图进行分块处理；

遍历低分辨率输入特征图中的每个特征子块，在低分辨率参考特征图中搜索第一最优匹配特征子块，并基于高分辨率参考特征图与低分辨率参考特征图之间的空间映射关系，基于第一最优匹配特征子块的图像位置确定当前子块在高分辨率参考特征图的第二最优匹配特征子块；

基于低分辨率输入特征图的每个子块的图像位置和第二最优匹配特征子块进行特征图重组处理，得到重组特征图像；

基于重组特征图进行图像信息融合处理，得到融合特征图像；

基于融合特征图像对低分辨率输入图像进行超分辨率重建，得到超分辨率重建图像。

2.如权利要求1所述的方法，其特征在于，基于编码和解码结构的超分辨率重建网络进行超分辨率重建过程处理，其中，超分辨率重建网络的编码部分用于对低分辨率输入图像进行特征提取，并通过维度拼接的方式将提取的特征图像与融合特征图像进行融合；解码部分用于对融合的特征图像进行重建，输出超分辨率重建图像。

3.如权利要求1所述的方法，其特征在于，采用基于卷积神经网络的特征提取网络对高分辨率参考图像、上采样后的低分辨率参考图像和低分辨率输入图像进行特征信息提取处理，所采用的卷积神经网络包括顺次连接的若干级卷积块，卷积块之间通过池化层连接，各级卷积块包括若干顺次连接的子层，每个子层由顺次连接的卷积层和非线性激活层构成，从每级卷积块中指定一层非线性激活层作为当前级别的特征图输出，得到多级高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图；并对同级特征图进行图像信息匹配、转移和融合处理，得到多级融合特征图像。

4.如权利要求2所述的方法，其特征在于，所述超分辨率重建网络包括若干编码器和解码器，按照前向传播的方向，各编码器依次定义为第1级~第N级编码器，第N级~第1级解码器，其中N的取值与特征信息提取处理的卷积神经网络包括的卷积块级数相同；第一级编码器与第二级编码器之间通过拼接层连接，从第2级编码器开始，各编码器之后顺次连接下采样模块和拼接层；拼接层的输入还包括指定级的融合特征图像，通过维度拼接的方式对编码器提取的特征图像与输入的融合特征图像进行融合处理；邻级的解码器之间顺次连接上采样模块和标准化层，且第r级编码器还通过跳连接方式接入第r-1级解码器，其中1＜r≤N；第1级解码器接入重建层，该重建层用于对第1级解码器输出的特征图像进行重建得到超分辨率重建残差图像，最后将超分辨率重建残差图像与低分辨率输入图像进行叠加得到最终的超分辨率重建图像。

5.如权利要求3所述的方法，其特征在于，对于多级高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图，在对同级特征图进行特征子块匹配处理时，仅对特征信息提取处理的卷积神经网络的最后一级特征图进行第一和第二最优匹配特征子块的特征块匹配处理，对于其余级的特征图之间的特征块匹配处理，直接基于最后一级特征图之间的特征块匹配处理结果的空间映射关系获得对应的匹配结果。

6.如权利要求1所述的方法，其特征在于，在基于特征图进行图像信息融合处理时，将待匹配的两个特征子块作为向量，基于向量相似度作为两个特征子块的匹配度，基于特征子块之间的匹配度搜索低分辨率输入特征图中的特征子块的第一最优匹配特征子块。

7.如权利要求6所述的方法，其特征在于，所述向量相似度为：对两个向量的向量余弦距离和向量曼哈顿距离分别进行标准化处理后，再进行加权求和得到。