[发明专利]一种面向跨模态通信的图像超分辨率重建方法

权利要求书

1.一种面向跨模态通信的图像超分辨率重建方法，其特征在于：所述图像超分辨率重建方法包括以下步骤：

步骤1、利用完整的高分辨率视觉信号，进行高分辨率视觉信号的编码和解码，通过编码步骤训练高分辨率视觉信号的编码网络，并得到高分辨率视觉信号的编码特征，通过解码步骤训练高分辨率视觉信号的解码网络，用于为之后的视觉信号超分辨率重建模型提供支撑；

步骤2、设计一个触觉辅助的视觉信号超分辨率重建HaSR模型；超分辨率重建HaSR模型为：

从终端采集到视觉信号和触觉信号之后，在边缘节点对视觉信号进行下采样从而得到低分辨率视觉信号，利用预训练的广泛使用的编码网络对低分辨率视觉信号和相应的触觉信号进行初步的特征提取；

利用模态内的鉴别性和模态间的一致性，通过映射网络来降低模态间的差异，挖掘不同模态的相关性来弥补模态间的语义鸿沟，从而基于编码提取的初步特征得到具有语义鉴别和语义关联的映射特征，而后将得到的映射特征经过归一化之后通过信道模型，从而用于下一步的特征融合；

根据低分视觉信号的映射特征和触觉信号的映射特征以及获得的高分辨率视觉信号的编码特征，结合生成对抗网络强大的数据拟合能力，得到融合特征；

最后，将得到的融合特征输入高分辨率视觉信号的生成网络，实现高分辨率视觉信号的重建；

步骤3、利用模型优化算法对步骤2设计的HaSR模型进行训练，最终得到最优的模型参数，用于之后的测试阶段；

步骤4、将待测的成对的低分辨率视觉信号和触觉信号输入最优的HaSR模型，最优的HaSR模型用于提取低分辨率视觉信号和相应的触觉信号的特征并进行融合，利用融合后的特征生成所需的高分辨率视觉信号。

2.根据权利要求1所述的一种面向跨模态通信的图像超分辨率重建方法，其特征在于：步骤1具体包括如下步骤：

步骤1-1：对于训练数据集其包含配对的触觉、低分辨视觉信号和高分辨率视觉信号，N为配对的视觉信号和触觉信号的数量，d_i＝{h_i,l_i,t_i}分别代表高分辨率视觉信号、低分辨率视觉信号和对应的触觉信号，将第i个高分辨率视觉信号h_i输入高分辨率视觉信号的编码网络，提取视觉信号的编码特征z_h；

步骤1-2：把得到的高分辨率视觉信号的编码特征z_h输入到由生成对抗网络构成的高分辨率视觉信号的解码器中，而后把解码器重建的高分辨率视觉信号输入高分辨率视觉信号的鉴别器中，通过联合训练编码器和解码器，并用重构损失和鉴别损失来优化，最终学习到高分辨率视觉信号的编码特征，以及对应的解码网络，定义的损失函数为：

L_pre＝L_rec+αL_pre-adv,

其中α是一个系数，用来调整不同损失的比例，第一项损失是重构损失：

其中(C,H,W)是高分辨率视觉信号的尺寸，G_h代表相应的高分辨率视觉信号的解码网络，代表相应的编码网络得到的高分辨率视觉信号的编码特征，||·||₁代表相应的L₁范数，第二项是生成对抗网络的损失，具体的损失函数为：

其中E(*)表示分布函数的期望值,p(z_h)表示高分图像编码特征的分布，p(h)代表真实高分辨率图像的分布,D_h代表相应的高分辨率视觉信号的鉴别网络，用来完成对重建的高分辨率视觉信号的判断，θ_gh和θ_dh分别代表相应的高分辨率视觉信号的生成器和鉴别器的参数，通过最小化L_pre得到最优的高分辨率视觉信号的编码网络以及对应的高分辨率视觉信号的编码特征，对应的解码网络和相应的高分辨视觉信号的鉴别网络。