[发明专利]人脸图像的融合方法和装置

说明书

本公开提出一种人脸图像的融合方法和装置，涉及图像处理领域。该方法包括获取模板人脸图像的属性特征；获取用户人脸图像的身份特征；基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。换脸过程不需要人脸分割模型辅助，提高了换脸效果。

技术领域

本公开涉及图像处理领域，特别涉及一种人脸图像的融合方法和装置。

背景技术

利用人工智能技术，将图像A中的人脸换到图像B中，所合成的图像C中的人脸与图像A中的人脸一致，背景、发型等与图像B保持一致。智能换脸技术有很广泛的应用，例如，电影后期制作、隐私保护等。例如，先用替身演员完成高难度的动作，然后再将主角的脸替换掉替身演员的脸。又例如，在一些公共网站，用虚拟人脸来替换掉用户的真实人脸。

一些相关智能换脸技术的换脸效果非常依赖人脸分割模型，人脸分割效果不好的人脸分割模型会严重影响换脸效果，而人脸分割效果好的人脸分割模型需要大量的标注数据进行训练，费时费力。

发明内容

本公开实施例提出一种不需要人脸分割模型辅助的智能换脸解决方案，提高换脸效果。

本公开一些实施例提出一种人脸图像的融合方法，包括：

获取模板人脸图像的属性特征；

获取用户人脸图像的身份特征；

基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；

将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；

根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；

利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。

在一些实施例中，根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征，包括：

基于用户人脸图像在身份敏感区域的身份特征，计算身份特征相关的均值和方差；

基于模板人脸图像在身份敏感区域的属性特征，计算属性特征相关的均值和方差；

根据模板人脸图像在身份敏感区域的属性特征和身份特征相关的均值和方差，执行第一自适应实例归一化操作，进行身份迁移；

根据第一自适应实例归一化操作结果和属性特征相关的均值和方差，执行第二自适应实例归一化操作，进行属性恢复，得到身份敏感区域的特征。

在一些实施例中，身份敏感区域的特征表示如下：

其中，F_[Is-areas]表示身份敏感区域的特征，Conv表示卷积操作，表示对Conv( )进行归一化操作，F^att表示模板人脸图像在身份敏感区域的属性特征，β^id、γ^id分别表示计算得到的身份特征相关的均值和方差，β^att、γ^att分别表示计算得到的属性特征相关的均值和方差，表示哈达玛积，表示哈达玛和。

在一些实施例中，利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像包括：