[发明专利]基于深度神经网络的图像分辨率转换方法及装置、终端设备

说明书

一种基于深度神经网络的图像分辨率转换方法及装置、终端设备，图像分辨率转换方法包括：获取待转换图像以及转换倍率；将所述待转换图像映射到隐空间，以得到多个隐式特征图；确定转换后图像中的待插值坐标，所述待插值坐标的像素值为空；根据所述转换倍率将各个待插值坐标映射至所述多个隐式特征图，以得到各个待插值坐标对应的隐式特征向量；将各个待插值坐标对应的隐式特征向量转换为像素值，并将各个像素值填充至所述转换后图像中的待插值坐标位置，以得到所述转换后图像。本发明技术方案能够实现对图像分辨率进行任意倍率的转换。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度神经网络的图像分辨率转换方法及装置、终端设备。

背景技术

单幅图像超分辨(Single Image Super Resolution,SISR)主要任务是从一张退化的低分辨率(Low Resolution,LR)图像重建出视觉上自然的高分辨率(HighResolution,HR)图像。目前，基于深度学习的单帧图像超分辨率重建(Single Image Sper-resolution Rconstruction,SISR)算法，例如SRCNN、ESPCNN、EDSR、RDN、RCAN等。

基于深度学习的SISR算法在特定倍率上的重建质量远远超过传统插值算法的重建质量。基于深度学习的SISR算法所构建的单个模型能处理某个倍率的超分辨任务，同时倍率都是整型的。

但是，真实的场景具有处理非整型的，任意倍率的超分辨任务的需求。现有的基于深度学习的SISR算法不能支持针对低分辨率图像的多种倍数的高清化。

发明内容

本发明解决的技术问题是如何实现对图像分辨率进行任意倍率的转换。

为解决上述技术问题，本发明实施例提供一种基于深度神经网络的图像分辨率转换方法，基于深度神经网络的图像分辨率转换方法包括：获取待转换图像以及转换倍率；将所述待转换图像映射到隐空间，以得到多个隐式特征图；确定转换后图像中的待插值坐标，所述待插值坐标的像素值为空；根据所述转换倍率将各个待插值坐标映射至所述多个隐式特征图，以得到各个待插值坐标对应的隐式特征向量；将各个待插值坐标对应的隐式特征向量转换为像素值，并将各个像素值填充至所述转换后图像中的待插值坐标位置，以得到所述转换后图像。

可选的，所述根据所述转换倍率将各个待插值坐标映射至所述多个隐式特征图包括：在各个隐式特征图中，根据所述转换倍率确定与所述待插值坐标具有映射关系的特征坐标；在各个隐式特征图中，利用所述特征坐标的邻域内的其他坐标插值确定所述待插值坐标对应的隐式特征值，所述隐式特征向量包括多个隐式特征值。

可选的，所述根据所述转换倍率确定与所述待插值坐标具有映射关系的特征坐标包括：计算所述待插值坐标与所述转换倍率的商，以作为所述特征坐标。

可选的，采用神经网络模型将所述待转换图像映射到隐空间以及将各个待插值坐标对应的隐式特征向量转换为像素值，所述神经网络模型包括编码器和多层感知机，所述编码器用于将所述待转换图像映射到隐空间，所述多层感知机用于将各个待插值坐标对应的隐式特征向量转换为像素值。

可选的，采用以下方式训练所述编码器：构建所述编码器和解码器；获取第一训练样本，所述第一训练样本包括第一分辨率图像；利用所述第一训练样本训练所述编码器和解码器。

可选的，采用以下方式训练所述多层感知机：获取第二训练样本，所述第二训练样本包括多个隐式特征图和第二分辨率图像，所述第二分辨率图像的第二分辨率大于所述第一分辨率图像的第一分辨率；利用所述第二训练样本训练所述多层感知机。

可选的，所述第一分辨率图像是所述第二分辨率图像通过降采样获得的。