[发明专利]图像处理方法、装置、设备及存储介质

说明书

公开了一种图像处理方法、装置、设备及存储介质，所述方法包括：获取第一面部图像的第一面部特征，所述第一面部图像是基于源图像的面部特征与目标图像得到的；对所述第一面部特征进行映射得到第二面部特征，所述第二面部特征中的至少部分特征的分布与所述目标图像的特征分布相匹配；根据所述第一面部图像以及所述第二面部特征，获得目标面部图像。

技术领域

本公开涉及计算机视觉技术，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

人脸交换在数字娱乐和影视行业中具有广泛的应用价值，例如通过人脸交换进行人脸生成，可以实现演员替身的效果等。

目前人脸交换是通过将源图像的人脸特征迁移至目标图像的面部区域并进行人脸姿态对齐实现的，存在着在外观差异较大场景下人脸交换性能降低的问题。

发明内容

本公开实施例提供一种图像处理方案。

第一方面，提供一种图像处理方法，所述方法包括：获取第一面部图像的第一面部特征，所述第一面部图像是基于源图像的面部特征与目标图像得到的；对所述第一面部特征进行映射得到第二面部特征，所述第二面部特征中的至少部分特征的分布与所述目标图像的特征分布相匹配；根据所述第一面部图像以及所述第二面部特征，得到目标面部图像。

结合本公开提供的任一实施方式，所述获取第一面部图像的第一面部特征，包括：获取所述第一面部图像的面部坐标信息和面部法向量信息中的至少一种；通过特征编码网络对所述第一面部图像进行特征提取处理，得到编码特征信息；根据所述第一面部图像的面部坐标信息和面部法向量信息中的至少一种和所述编码特征信息，得到所述第一面部图像的第一面部特征。

结合本公开提供的任一实施方式，所述对所述第一面部特征进行映射得第二面部特征，包括：通过特征映射网络，对所述第一面部图像中像素的第一特征进行映射，得到所述像素对应的第二特征，所述像素对应的第二特征的概率分布，与所述目标图像中像素对应的第三特征的概率分布之间的距离满足设定条件；其中，所述第一面部图像中像素对应的第一特征属于所述第一面部特征，所述像素对应的第二特征属于所述第二面部特征。

结合本公开提供的任一实施方式，所述根据所述第一面部图像以及所述第二面部特征，得到所述目标面部图像，包括：通过特征解码网络，对所述第二面部特征进行解码，得到面部区域的图像；根据所述第一面部图像中除所述面部区域之外的图像以及所述面部区域的图像，得到所述目标面部图像。

结合本公开提供的任一实施方式，所述编码特征信息包括n阶特征信息；根据所述第一面部图像的面部坐标信息和面部法向量信息中的至少一种和所述编码特征信息，得到所述第一面部图像的第一面部特征，包括：将前M阶特征信息分别与所述第一面部图像的面部坐标信息和面部法向量信息中的至少一种连接，得到M阶连接特征信息；根据所述M阶连接特征信息和后阶特征信息得到所述第一面部特征，其中，所述后阶特征信息包括所述编码特征信息中除所述前M阶特征信息之外的特征信息，n、M为正整数，Mn。

结合本公开提供的任一实施方式，所述对所述第一面部特征进行映射得到第二面部特征，包括：对所述M阶连接特征信息进行映射，得到与所述目标图像的特征分布相匹配的M阶映射特征信息；所述通过特征解码网络，对所述第二面部特征进行解码，得到面部区域的图像，包括：根据所述M阶映射特征信息和所述后阶特征信息，得到所述面部区域的图像。

结合本公开提供的任一实施方式，所述方法还包括，对所述特征编码网络、所述特征映射网络、所述特征解码网络进行端到端训练，其中，所述特征编码网络和所述特征解码网络共同与特征映射网络轮流进行一代训练。