[发明专利]一种图像处理方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像处理方法及装置、电子设备和存储介质；其中，该方法包括：获取从第一图像中提取的色彩特征；获取自定义的掩膜特征，所述自定义的掩膜特征用于指定所述色彩特征在所述第一图像中的区域位置；将所述色彩特征和所述自定义的掩膜特征输入特征映射网络进行图像属性的编辑，得到第二图像。采用本公开，对人脸属性的编辑，符合人脸样貌更多变化和更多自由度的编辑需求。

技术领域

本公开涉及图像编辑领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。

背景技术

在图像处理中，对人脸属性的建模和修改在计算机视觉中一直是一个长期被关注的问题。一方面，人脸属性是用户日常生活中占主导的一个视觉属性，另一方面操控人脸属性在很多领域中都有很重要的应用，比如自动化人脸编辑。然而，对人脸属性的编辑，不支持更多的属性变化及支持用户互动式的属性自定义，导致对人脸样貌的编辑自由度低，对人脸样貌的改变是有限范围内的，不符合人脸样貌更多变化和更多自由度的编辑需求。

发明内容

本公开提出了一种图像处理技术方案。

根据本公开的一方面，提供了一种图像处理方法，所述方法包括：

获取从第一图像中提取的色彩特征；

获取自定义的掩膜特征，所述自定义的掩膜特征用于指定所述色彩特征在所述第一图像中的区域位置；

将所述色彩特征和所述自定义的掩膜特征输入特征映射网络进行图像属性的编辑，得到第二图像。

采用本公开，通过将色彩特征、和指定色彩特征在第一图像中区域位置的掩膜特征(自定义的掩膜特征)经特征映射网络进行图像属性的编辑，可以支持更多的属性变化及支持用户互动式的属性自定义，使编辑所得到的第二图像符合人脸样貌更多变化和更多自由度的编辑需求。

可能的实现方式中，所述特征映射网络，为训练后得到的特征映射网络；

所述特征映射网络的训练过程包括：

将由第一图像数据和对应第一图像数据的掩膜特征构成的数据对作为训练数据集；

将所述训练数据集输入所述特征映射网络，在所述特征映射网络中将所述第一图像数据中各区块的色彩特征映射到对应的掩膜特征中，输出得到第二图像数据，根据所述第二图像数据和所述第一图像数据得到损失函数，通过所述损失函数的反向传播进行生成对抗，达到特征映射网络收敛时结束所述训练过程。

采用本公开，通过输入由第一图像数据和对应第一图像数据的掩膜特征构成的数据对，对特征映射网络进行训练，根据训练后得到的特征映射网络进行图像属性的编辑，可以支持更多的属性变化及支持用户互动式的属性自定义，使编辑所得到的第二图像符合人脸样貌更多变化和更多自由度的编辑需求。

可能的实现方式中，所述在所述特征映射网络中将所述第一图像数据中各区块的色彩特征映射到对应的掩膜特征中，输出得到第二图像数据，包括：

将所述各区块的色彩特征和对应掩膜特征输入所述特征映射网络中的特征融合编码模块；

通过所述特征融合编码模块将第一图像数据所提供的所述色彩特征和对应掩膜特征所提供的空间特征进行融合，得到用于表征空间和色彩特征的图像融合特征；

将所述图像融合特征和所述对应掩膜特征输入图像生成模块，得到所述第二图像数据。

采用本公开，通过输入第一图像数据所提供的色彩特征和对应掩膜特征至特征融合编码模块中，可以得到用于表征空间和色彩特征的图像融合特征，由于图像融合特征兼具空间感知和色彩特征，因此，根据该图像融合特征和对应掩膜特征以及图像生成模块，所得到的第二图像能符合人脸样貌更多变化和更多自由度的编辑需求。