[发明专利]一种图像增强方法、装置、终端设备及存储介质

说明书

本申请提供一种图像增强方法、装置、终端设备及存储介质，涉及深度学习技术领域，能够提高图像增强任务中增强图像的画质。该图像增强方法包括：获取待处理图像；将待处理图像输入到已训练的图像增强模型中处理，输出增强图像，图像增强模型包括主网络和条件网络，主网络为U‑net结构，在处理待处理图像时，通过条件网络从待处理图像中提取多个不同尺度的特征张量，并将待处理图像和多个不同尺度的特征张量分别输入到主网络中相应尺度的网络层进行处理，得到增强图像。

技术领域

本申请涉及深度学习技术领域，尤其涉及一种图像增强方法、装置、终端设备及存储介质。

背景技术

图像增强任务一般包括去雾，去噪声，去雨，超分辨率，去压缩伪影，去模糊，高动态范围(High Dynamic Range,HDR)重建等操作。随着深度学习技术在图像处理和计算机视觉领域的广泛地应用，如何提高图像增强效果，成为基于神经网络的图像增强任务中的焦点问题。

例如，U-net结构的网络作为一种特殊的卷积神经网络(Convolutional NeuralNetworks，简称CNN)，虽然在处理图像增强任务中能够很好地提取输入图像的不同尺度的空间特征。但单纯的U-net结构网络无法对输入特征进行特异性处理，从而难以同时处理好增强任务中差异较大的特征，影响图像增强效果，导致增强图像的部分区域画质较差。

发明内容

有鉴于此，本申请提供一种图像增强方法、装置、终端设备及存储介质，能够提高图像增强任务中增强图像的画质。

第一方面，本申请提供一种图像增强方法，包括：获取待处理图像；待处理图像输入到已训练的图像增强模型中处理，输出增强图像，图像增强模型包括主网络和条件网络，主网络为U-net结构，在处理待处理图像时，通过条件网络从待处理图像中提取多个不同尺度的特征张量，并将待处理图像和多个不同尺度的特征张量分别输入到主网络中相应尺度的网络层进行处理，得到增强图像。

可选的，主网络包括M个下采样层和M个上采样层，条件网络包括共享卷积层和M+1个特征提取模块，M+1个特征提取模块分别包括不同数量的下采样操作；通过条件网络从待处理图像中提取多个不同尺度的特征张量，包括：

通过共享卷积层从待处理图像中提取中间特征；将中间特征分别输入到M+1个特征提取模块中处理，得到M+1个不同尺度的特征张量。

可选的，主网络还包括第一SFT层和多个残差模块，残差模块包括交替设置的第二SFT层和卷积层；第一SFT层连接M个下采样层的输入侧和M个上采样层的输出侧，多个残差模块穿插设置在M个下采样层和M个上采样层之间，M+1个不同尺度的特征张量分别输入至第一SFT层和第二SFT层中相应尺度的SFT层中。

可选的，图像增强模型还包括权重网络，权重网络包括跳跃连接和多层卷积层；增强图像是通过将主网络的输出与原始特征进行特征融合后得到的，原始特征是通过权重网络从待处理图像中提取到的。

可选的，待处理图像为LDR图像，增强图像为HDR图像。

可选的，图像增强模型是利用预设的损失函数和训练集对预设的图像增强初始模型进行训练后得到的；其中，训练集包括多个LDR图像样本和每个LDR图像样本对应的HDR图像样本，预设的损失函数用于描述HDR预测图像经过Tanh函数得到的数值与所述HDR图像样本经过Tanh函数得到的数值之间的L1损失，所述HDR预测图像为所述图像增强初始模型对所述LDR图像样本进行处理后得到图像。

第二方面，本申请提供一种图像增强装置，包括：

获取单元，用于获取待处理图像。