[发明专利]一种面向跨模态通信的图像超分辨率重建方法

说明书

本发明属于视觉信号的超分辨率重建技术领域，公开了一种面向跨模态通信的图像超分辨率重建方法，首先在发送端仅传输低分辨率视觉信号和相应的触觉信号，而后通过模态内鉴别性和模态间相关性的学习弥补不同模态间存在的语义鸿沟，通过信道传输后，在接收端通过有效的特征融合方式实现互补性的学习，最后利用得到的融合特征去生成所需的高分辨率视觉信号。本发明很好地解决了在多模态服务中存在的因带宽受限和多模态信号间的竞争导致的视觉质量下降，最终影响用户体验的问题，实现了跨模态信号一致性、互补性的学习，保证了在有限带宽下，接收端高分辨率视觉信号的获取，提升用户的沉浸式体验。

技术领域

本发明属于视觉信号的超分辨率重建技术领域，具体的说是涉及一种面向跨模态通信的图像超分辨率重建方法。

背景技术

随着无线通信和多媒体通信技术的快速发展，人类的视听需求得到极大满足，开始追求更多元化、更丰富的体验。当触觉信号与传统的视听信号相结合时，多模态服务出现，它可以提供更细粒度的交互和沉浸式体验。多项研究发现在线上多模态服务场景中，人们能够通过高分辨率的视觉信号和高保真的触觉信号提高对产品的感知和交互体验。例如，在网络购物中，消费者可以通过触摸和观察获得产品细节、内在感知质地、硬度等特性的详细信息。为了支持多模态服务，跨模态通信应运而生，其通过利用不同模态间的相关性确保多个模态之间的协同传输和处理。然而，受限的带宽和模态间竞争的存在使现有的跨模态通信方案很难实施，这将导致用户的沉浸式体验下降，特别是不满意的视觉体验。

具体来说，一方面，高保真的视觉信号是用户沉浸式体验的重要保障，然而由于受限的带宽，在线多媒体通信服务中难以传输如此高分辨率的图片/视频；另一方面，视觉和触觉模态在传输过程中存在竞争，为了满足触觉信号低时延、高可靠的需求，现有方案通常给触觉信号一个更高的优先级，但触觉信号频繁、无规律地出现会严重影响视觉信号的传输质量，尤其当用户具有频繁触摸的需求时，如线上购物。

目前，针对因为带宽不足以及模态间的竞争导致的视觉信号的质量下降问题，可从多模态通信和超分辨率重建两个思路解决。多模态通信方案主要包括传统的音视频通信方案、触觉通信方案，这些方案能单独实现音视频或者触觉信号的高保真传输，但当涉及到同时传输音视频和触觉信号的场景时，无法保证接收端的质量；超分辨率重建方案主要利用低分辨率视觉通过基于单个视觉信号或基于参考信息(如不同角度的视觉信号、相邻帧、边界图等)来完成高分辨率视觉信号的重建，但他们大都是在本地终端完成重建任务，没有涉及通信任务。

上述现有的面对有限带宽下的多模态传输方案主要存在以下缺陷：把各个模态单独考虑，没有合理利用多模态数据间的一致性和互补性；没有考虑通信过程，仅在终端处理数据，没有考虑多模态数据传输过程中存在的模态间的竞争。

发明内容

为了克服现有技术的不足，本发明提供一种面向跨模态通信的图像超分辨率重建方法，依赖触觉信号和视觉信号之间语义的一致性，通过充分考虑模态内和模态间的关系实现各模态特征的提取、映射，之后借助强有力的特征融合网络，有效地实现利用低分辨率视觉信号和触觉信号去生成与高分辨率视觉信号特征尽可能相似的融合特征，并最终获得高分辨率视觉信号，实现在带宽受限的多模态应用场景中，用户沉浸式体验的保障。

为了达到上述目的，本发明是通过以下技术方案实现的：

本发明是一种面向跨模态通信的图像超分辨率重建方法，包括以下步骤：

步骤(1)、利用完整的高分辨率视觉信号，进行高分辨率视觉信号的编码和解码，通过编码步骤训练高分辨率视觉信号的编码网络，并得到高分辨率视觉信号的编码特征，通过解码步骤训练高分辨率视觉信号的解码(生成)网络，用于为之后的视觉信号超分辨率重建模型提供支撑；

步骤(2)、设计一个触觉辅助的视觉信号超分辨率重建HaSR(Haptic-acid Super-resolution Reconstruction)模型；超分辨率重建HaSR模型具体如下：