[发明专利]图像增强模型的训练方法、图像增强方法及电子设备

说明书

本申请实施例提供了一种图像增强模型的训练方法、图像增强方法及电子设备。其中，电子设备将暗光图像首先输入至有监督图像增强网络中，得到暗光增强图像，再将该暗光增强网络输入至无监督监督图像增强网络中，得到感知增强图像，作为对暗光图像处理后得到的目标图像。这样，对暗光图像进行图像增强时，不仅能较好地保持图像细节信息，还能提升图像的感知质量。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像增强模型的训练方法、图像增强方法及电子设备。

背景技术

随着智能手机的发展和普及，越来越多的人们使用手机拍照，与此同时人们对手机拍照的要求也越来越高。在夜晚或者其他照明不佳情况下，手机所拍照片往往存在图像过暗，人像肤色质量下降，景物图像信息缺失等问题，影响了用户的使用体验。

因此，如何增强暗光图像的图像质量是亟待解决的问题。

发明内容

为了解决上述技术问题，本申请实施例提供一种图像增强模型的训练方法、图像增强方法及电子设备。在根据该图像增强模型的训练方法得到图像增强模型之后，使用爱图像增强模型对暗光图像进行图像增强，不仅能较好地保持图像细节信息，还能提升图像的感知质量。

第一方面，本申请实施例提供一种图像增强模型的训练方法。其中，图像增强模型包括串联的有监督图像增强网络和无监督图像增强网络；有监督图像增强网络的训练样本包括一一对应的暗光样本图像、暗光增强目标样本图像以及人像掩膜样本图像；无监督图像增强网络的训练样本包括感知增强目标图像样本。

该图像增强模型的训练方法，包括：电子设备将暗光样本图像输入至有监督图像增强网络，得到有监督增强图像；电子设备根据有监督增强图像，以及暗光增强目标样本图像和人像掩膜样本图像，计算有监督图像增强网络的损失；电子设备将有监督增强图像输入至无监督图像增强网络，得到无监督增强图像；电子设备根据无监督增强图像和有监督增强图像，计算无监督图像增强网络的损失；电子设备将无监督增强图像和感知增强目标图像样本输入至无监督判别器，并根据无监督判别器的输出计算无监督判别器的损失；电子设备根据有监督图像增强网络的损失、无监督图像增强网络的损失以及无监督判别器的损失，调整图像增强模型的参数。

这样，训练生成的图像增强模型采用半监督图像增强方法，结合了有监督图像增强方法和无监督图像增强方法的优势，既能较好地保持图像中的细节，也能整体提升图像的感知质量。

其中，图像增强模型的有监督网络包括有监督图像增强网络，图像增强模型的无监督网络包括无监督图像增强网络和无监督判别器。有监督图像增强网络用于对暗光图像进行暗光增强，以尽量保持图像细节，无监督图像增强网络用于对暗光增强后的图像进行感知增强，以提高图像的感知质量。而且，由于训练有监督图像增强网络的目标图像中包括暗光增强目标样本图像和人像掩膜样本图像，对于含有人像区域的暗光图像，暗光增强后的图像风格更加注重人像的美感。

根据第一方面，电子设备将暗光样本图像输入至有监督图像增强网络，得到有监督增强图像，可以包括：电子设备将暗光样本图像输入CNN权重预测网络，得到各个基础3DLUT的权重；电子设备根据各个基础3D LUT的权重，融合各个基础3D LUT，得到自适应3DLUT；电子设备根据自适应3D LUT对暗光样本图像进行三线性插值处理，得到有监督增强图像。

这样，有监督网络设置为一种以RGB为索引的3DLUT融合网络获取自适应3DLUT，然后基于自适应3DLUT进行三线性插值得到有监督增强图像，实现了网络架构的轻量化，可以进行实时图像增强，且能够保持很好的细节。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备在将暗光样本图像输入CNN权重预测网络之前，还包括：电子设备对暗光样本图像进行下采样处理。

由于常见移动设备（例如手机、PAD等）或者单反相机采集到的图像的尺寸往往比较大，不利于网络的训练和推断，首先对输入的暗光样本图像进行下采样处理，能够有效提升网络训练和网络推断的效率。