[发明专利]基于空间误差自适应的网络训练方法及装置

说明书

本公开涉及一种基于空间误差自适应的网络训练方法及装置。所述方法包括：将样本图像输入图像重建网络，生成重建图像；根据重建图像和参考图像，获得残差图；根据残差图，确定各像素点的权重；根据各像素点的残差值以及权重，训练图像重建网络。根据本公开的实施例的基于空间误差自适应的网络训练方法，可针对重建图像和参考图像之间的残差图，为各像素点赋予权重，并基于各像素点的权重进行训练，使误差较大的像素点在训练过程中的权重较高，提升误差较大的像素点的训练力度，有效地减小误差较大的像素点的误差，可提升图像的视觉效果和质量。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种基于空间误差自适应的网络训练方法及装置、电子设备和存储介质。

背景技术

在深度学习领域，常利用卷积神经网络对图像进行重建，在图像重建过程中，图像的分辨率、图像风格转换、图像合成等因素均具有重要作用，例如，在进行图像重建时，输入一张低分辨率图像，神经网络经过特征提取获得图像的特征，并在特征空间进行操作，例如，进行图像的尺寸提升。最后输出对应尺寸的高分辨率图片。

其中，在上述神经网络训练过程中，为了优化神经网络的参数，可确定输入图像与输出图像之间的损失函数。在训练过程中，输入图像与输出图像之间的误差是不均衡的，随着训练过程的进行，各像素点的误差逐渐向0偏移(即，误差逐渐减小)，且大部分像素点的误差集中于较小的区间内，但是，仍然存在一些误差较大的像素点，且这些像素点可能由于误差较大，导致图像的整体质量不佳。

在训练过程中，各像素点的权重是一致的，且误差小的像素点的占比较大，即，训练过程对于每个像素点是均衡的。因此，训练过程对于这些本就误差较小的像素点的训练更加充分，而对于误差较大的像素点的训练力度不足。并且，由于误差较小的像素点占比较高，导致误差函数整体较小，因此，在参数调节过程中，对参数的调节力度较小，导致误差较大的像素点的训练力度不足。而这些像素点由于误差较大，人眼对于这些像素点是比较敏感的，因此，由于训练力度不足，这些像素点的误差难以有效地减小，导致图像的视觉效果不佳。

发明内容

本公开提出了基于空间误差自适应的网络训练方法及装置、电子设备和存储介质。

根据本公开的一方面，提供了一种基于空间误差自适应的网络训练方法，包括：将样本图像输入图像重建网络，生成重建图像；根据所述重建图像和参考图像，获得所述重建图像和所述参考图像之间的残差图，其中，所述参考图像与所述样本图像的内容相同，且所述参考图像与所述样本图像的分辨率和图像风格中的至少一种不同；根据所述残差图中各像素点的残差值，确定所述残差图中各像素点的权重；根据所述残差图中各像素点的残差值以及所述残差图中各像素点的权重，训练所述图像重建网络。

在一种可能的实现方式中，根据所述残差图中各像素点的残差值，确定所述残差图中各像素点的权重，包括：根据所述残差图中目标像素点的残差值所属的第一范围，将所述目标像素点的权重确定为与所述第一范围对应的第一权重，其中，所述残差值的值域被划分为多个范围，每个范围均具有对应的权重。

在一种可能的实现方式中，根据所述残差图中各像素点的残差值，确定所述残差图中各像素点的权重，包括：根据所述残差图中目标像素点的残差值，以及预设的超参数，确定所述目标像素点的权重。

在一种可能的实现方式中，根据所述残差图中各像素点的残差值，确定所述残差图中各像素点的权重，包括：根据所述残差图中各像素点的残差值，以及预设的超参数，确定所述残差图中目标像素点的权重。

在一种可能的实现方式中，根据所述残差图中各像素点的残差值，以及预设的超参数，确定所述残差图中目标像素点的权重，包括：根据所述残差图中各像素点的残差值，确定多个残差值的中位数；根据所述目标像素点的残差值、所述中位数以及预设的超参数，确定所述目标像素点的权重。