[发明专利]图像超分辨率模型训练方法、装置、存储介质及设备

说明书

本发明一种图像超分辨率模型训练方法、装置、存储介质及设备，所述方法包括：获取超分数据集，采用所述超分数据集对超分主干网络进行训练；获取超分主干网络当前训练输出的目标超分图像，并计算目标超分图像与超分模板图像之间的损失，得到第一损失项；将目标超分图像和所述超分模板图像分别输入到预训练的语义分割网络当中，输出对应的目标分割图像和分割模板图像；计算目标分割图像和分割模板图像之间的损失，得到第二损失项；根据第一损失项和第二损失项对超分主干网络进行迭代训练。本发明通过提出了一种基于语义分割约束的超分训练方法，在保证超分指标可比的情况下，显著提升了超分图像的语义分割指标。

技术领域

本发明属于图像超分辨率模型训练技术领域，尤其涉及一种图像超分辨率模型训练方法、装置、存储介质及设备。

背景技术

人们从外界接收的各种信息中80％以上是通过视觉获得的，视觉是人类最重要的获取外界信息的感知。让计算机能“理解”人类的视觉，赋予计算机处理人类视觉感知的能力，也是人与计算机之间进行协同工作的最便捷的方式之一。

图像超分辨率重构(以下简称超分)是指通过对数字图像信号的分析，采用软件算法的方式，在不提升光学成像设备的条件下，由一帧或多帧图像重建、恢复出更高分辨率图像或视频的技术。目前，图像超分技术在医学影像、监控安防、摇杆测控以及影音娱乐等领域得到了广泛应用。

然而，目前主流的图像超分只关注于人眼对图像的视觉舒适度，没有充分考虑超分图像被计算机理解的能力，而超分图像在后续计算机视觉任务中最直观的价值体现在该超分图像能为后续语义分割准确度的提升带来何种贡献，因此目前在超分辨图像的基础上再进行图像分割的性能不理想。

发明内容

本发明实施例提供一种图像超分辨率模型训练方法、装置、存储介质及设备，旨在解决目前在超分辨图像的基础上再进行图像分割的性能不理想的技术问题。

本发明实施例是这样实现的，一种图像超分辨率模型训练方法，所述方法包括：

获取超分数据集，采用所述超分数据集对超分主干网络进行训练；

获取所述超分主干网络当前训练输出的目标超分图像，并计算所述目标超分图像与超分模板图像之间的损失，得到第一损失项；

将所述目标超分图像和所述超分模板图像分别输入到预训练的语义分割网络当中，所述目标超分图像经过所述语义分割网络生成目标分割图像，所述超分模板图像经过所述语义分割网络生成分割模板图像；

计算所述目标分割图像和所述分割模板图像之间的损失，得到第二损失项；

根据所述第一损失项和所述第二损失项确定出所述超分主干网络的当前总损失函数，并根据所述当前总损失函数对所述超分主干网络进行迭代训练，以训练得到图像超分辨率模型。

优选地，获取所述超分主干网络当前训练输出的目标超分图像的步骤之后，还包括：

将所述目标超分图像与所述超分模板图像输入到预训练的VGG网络当中，以输出所述目标超分图像和所述超分模板图像的高维特征；

计算所述目标超分图像和所述超分模板图像的高维特征中数据分布的差异，得到第三损失项；

其中，所述当前总损失函数还根据所述第三损失项确定得到。

优选地，将所述目标超分图像与所述超分模板图像输入到预训练的VGG网络当中，以输出所述目标超分图像和所述超分模板图像的高维特征的步骤之后，还包括：

计算所述目标超分图像和所述超分模板图像的高维特征做Gram矩阵后二者的分布差异，得到第四损失项；

其中，所述当前总损失函数还根据所述第四损失项确定得到。

优选地，所述当前总损失函数满足以下条件式：