[发明专利]一种人脸图像的融合方法、装置及计算设备

说明书

本发明公开了一种人脸图像的融合方法，该方法适于将目标图像中的人脸融合到素材图像的人脸中，包括步骤：分别计算素材图像与目标图像中人脸的三维模型，作为第一三维模型和第二三维模型；分别计算第一三维模型与第二三维模型投影到平面的第一投影矩阵和第二投影矩阵；根据第一三维模型和第一投影矩阵计算出素材图像中人脸的第一纹理坐标；根据第二三维模型和第二投影矩阵计算出目标图像中人脸的第二纹理坐标；用第二纹理坐标对应替换第一纹理坐标，得到重建后的目标图像的人脸图像；以及将重建后的目标图像的人脸图像与素材图像相融合，生成融合图像。本发明还公开了相应的人脸图像融合装置和计算设备。

技术领域

本发明涉及图像处理技术领域，尤其是一种人脸图像的融合方法、装置及计算设备。

背景技术

用户在日常拍摄、社交等过程中，希望能够将一张图像中的人脸替换到另一张图像中，俗称换脸。在换脸的应用中，通常是将目标图像中的人脸融合(也可以称之为“替换”)到素材图像相应的人脸位置中。

现有的换脸应用常采用的做法是，将目标图像中一个人物A的脸部(或，头部)沿着轮廓线裁剪下来，再替换到素材图像中人物B的脸部，这种简单的人脸替换能满足一部分用户需求。但是，对于姿态相差较大的两张人脸，在图像上很难替换，一般会产生比较严重的五官变形，难以满足用户需求。另外，由于不同图像拍摄时的光照、视角等不同，若直接将人脸部分进行替换可能会由于人脸与背景颜色不一致而造成色调不搭、人物与背景不协调等现象。

因此，需要一种换脸应用，能够有效解决由姿态等问题引起的人脸变形、人脸与原图背景不协调等问题。

发明内容

为此，本发明提供了一种人脸图像的融合方法、装置及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种人脸图像的融合方法，该方法适于将目标图像中的人脸融合到素材图像的人脸中，包括步骤：分别计算素材图像与目标图像中人脸的三维模型，作为第一三维模型和第二三维模型；分别计算第一三维模型与第二三维模型投影到平面的第一投影矩阵和第二投影矩阵；根据第一三维模型和第一投影矩阵计算出素材图像中人脸的第一纹理坐标；根据第二三维模型和第二投影矩阵计算出目标图像中人脸的第二纹理坐标；用第二纹理坐标对应替换第一纹理坐标，得到重建后的目标图像的人脸图像；以及将重建后的目标图像的人脸图像与所述素材图像相融合，生成融合图像。

可选地，在根据本发明的人脸图像融合方法中，得到重建后的目标图像的人脸图像的步骤之后，还包括步骤：根据素材图像和目标图像的人脸特征分别生成对应的第一人脸蒙版和第二人脸蒙版；根据第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色值计算出融合后人脸的肤色值；以及将融合后人脸的肤色值赋给所述素材图像的对应像素，得到调整后的素材图像。

可选地，在根据本发明的人脸图像融合方法中，将重建后的目标图像的人脸图像与素材图像相融合、生成融合图像的步骤还包括：将重建后的目标图像的人脸图像与调整后的素材图像相融合、生成融合图像。

可选地，在根据本发明的人脸图像融合方法中，根据第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色值计算出融合后人脸的肤色值的步骤包括：分别计算第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色均值，分别作为第一肤色和第二肤色；以及根据第一肤色和第二肤色对目标图像中人脸区域的颜色值进行迁移运算，得到融合后人脸的肤色值。

可选地，在根据本发明的人脸图像融合方法中，融合后人脸的肤色值为：

其中，pU_i为融合后人脸区域中第i个像素点的肤色值，pu_i为目标图像的人脸区域中第i个像素点的肤色值，M_mean为第一肤色，U_mean为第二肤色。