[发明专利]图像处理方法及装置、电子设备和计算机存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

将目标图像中的第一脸部的人脸身份参数替换为第二脸部的人脸身份参数，得到混合三维参数，其中，所述混合三维参数包括第二脸部的人脸身份参数、第一脸部的表情参数和第一脸部的环境参数；

将所述混合三维参数进行二维投影，得到第一投影图像；

根据所述第一投影图像和所述目标图像生成待融合人脸图像；

将所述目标图像和所述待融合人脸图像进行融合，生成换脸图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一投影图像和所述目标图像生成待融合人脸图像，包括：

利用三维投影生成网络，根据所述第一投影图像，得到第一生成脸部图像；

根据所述第一生成脸部图像和所述目标图像，得到所述待融合人脸图像。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述目标图像输入人脸分割网络，获得第一脸部对应的第一脸部遮罩；

所述根据第一生成脸部图像和所述目标图像，得到待融合人脸图像，包括：

将所述第一生成脸部图像和所述第一脸部遮罩输入到遮罩指导生成网络，生成所述待融合人脸图像。

4.根据权利要求3所述的方法，其特征在于，将所述目标图像和所述待融合人脸图像进行融合，得到换脸图像，包括：

利用所述第一脸部遮罩在所述目标图像中确定待融合的背景图像，并在所述待融合人脸图像中确定待融合的脸部图像；

将所述待融合的脸部图像与所述待融合的背景图像进行融合得到初始融合图像；

将所述初始融合图像、所述目标图像和所述第一脸部遮罩输入到融合网络，生成所述换脸图像。

5.根据权利要求2所述的方法，其特征在于，所述三维投影生成网络通过以下步骤训练得到：

从包含第二脸部的样本图像中，提取所述第二脸部对应的样本三维参数；

将所述样本三维参数进行二维投影，得到样本投影图像和所述样本投影图像对应的投影遮罩；

利用所述投影遮罩对所述样本图像进行处理，获得第二脸部对应的第一参考图像；

利用所述样本投影图像以及所述第一参考图像对所述三维投影生成网络进行训练。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

对所述样本投影图像中的脸部区域进行随机腐蚀，获得多个腐蚀后的样本投影图像，以及对所述第一参考图像的脸部区域基于与所述样本投影图像相同的腐蚀比例进行腐蚀，获得多个腐蚀后的第一参考图像；和/或，对所述样本投影图像的大小进行随机变换，获得多个变换后的样本投影图像，以及对所述第一参考图像的大小基于与所述样本投影图像相同的变换比例进行变换，获得多个变换后的第一参考图像；

利用所述腐蚀后的样本投影图像和对应的腐蚀后的第一参考图像，和/或所述变换后的样本投影图像和对应的变换后的第一参考图像对所述三维投影生成网络进行训练。

7.根据权利要求5所述的方法，其特征在于，基于以下损失函数对所述三维投影生成网络进行训练：

L(G1，D1)＝λ_ganL_GAN+λ_precL_prec+λ_pixelL_pixel

其中，L(G1，D1)为三维投影生成网络的总的损失，L_GAN为三维投影生成网络本身的判别损失，L_prec表示三维投影生成网络的生成图像与第一参考图像之间的感知损失，F_i表示提取预训练好的图像识别和人脸识别网络的中间层特征，C、H和W表示图像的通道数，长和宽的值，L_pixel表示三维投影生成网络的生成图像与第一参考图像的像素差，λ_gan，λ_prec，λ_pixel分别表示三种损失的权重。