[发明专利]基于移动平台的视频换脸方法及系统

权利要求书

1.一种基于移动平台的视频换脸方法，其特征在于，包括如下步骤：

视频帧获取步骤：从视频帧中获取源图像；

人脸识别步骤：从源图像和用户选定的目标图像中识别出人脸；

关键点检测步骤：对识别出的人脸进行做关键点检测；

提取步骤：根据两张图像的关键点检测的位置，提取人脸轮廓区域，并做三角剖分；

替换步骤：对剖分后的每一个三角形做一一对应的反射变换，得到人脸区域替换后的结果图；

融合处理步骤：将替换前后的人脸按百分比进行混合，并对混合后的人脸区域融合使该区域更好的与周围区域无缝衔接；

采用MTCNN多任务卷积神经网络进行人脸识别和关键点检测；

采用泊松融合算法对混合后的人脸做融合；

MTCNN先使用小模型生成有一定可能性的目标区域候选框，然后再使用更复杂的模型进行细分类和更高精度的区域框回归，并且让这一步递归执行，以此思想构成三层网络，分别为P-Net、R-Net、O-Net；在输入层使用图像金字塔进行初始图像的尺度变换，并使用P-Net生成候选目标区域框，之后使用R-Net对这些候选目标区域框进行第一次精选和边框回归，排除负例，然后再用网络O-Net对剩余的目标区域框进行判别和区域边框回归；

只对前几帧图像做融合，使替换后肤色与目标视频中的人像肤色一致，后续的帧将使用融合过的人脸作为目标人脸；只对边缘部分区域做颜色融合，使得边缘区域能无缝过渡。

2.根据权利要求1所述的基于移动平台的视频换脸方法，其特征在于，采用Delaunay三角剖分算法对人脸轮廓区域进行三角剖分。

3.根据权利要求1所述的基于移动平台的视频换脸方法，其特征在于，还包括帧间平滑步骤：

对换脸后的视频选取连续设定帧数的关键点进行加权平均处理。

4.一种基于移动平台的视频换脸系统，其特征在于，包括如下模块：

视频帧获取模块：从视频帧中获取源图像；

人脸识别模块：从源图像和用户选定的目标图像中识别出人脸；

关键点检测模块：对识别出的人脸进行做关键点检测；

提取模块：根据两张图像的关键点检测的位置，提取人脸轮廓区域，并做三角剖分；

替换模块：对剖分后的每一个三角形做一一对应的反射变换，得到人脸区域替换后的结果图；

融合处理模块：将替换前后的人脸按百分比进行混合，并对混合后的人脸区域融合使该区域更好的与周围区域无缝衔接；

采用MTCNN多任务卷积神经网络进行人脸识别和关键点检测；

采用泊松融合算法对混合后的人脸做融合；

MTCNN先使用小模型生成有一定可能性的目标区域候选框，然后再使用更复杂的模型进行细分类和更高精度的区域框回归，并且让这一步递归执行，以此思想构成三层网络，分别为P-Net、R-Net、O-Net；在输入层使用图像金字塔进行初始图像的尺度变换，并使用P-Net生成候选目标区域框，之后使用R-Net对这些候选目标区域框进行第一次精选和边框回归，排除负例，然后再用网络O-Net对剩余的目标区域框进行判别和区域边框回归；

只对前几帧图像做融合，使替换后肤色与目标视频中的人像肤色一致，后续的帧将使用融合过的人脸作为目标人脸；只对边缘部分区域做颜色融合，使得边缘区域能无缝过渡。

5.根据权利要求4所述的基于移动平台的视频换脸系统，其特征在于，采用Delaunay三角剖分算法对人脸轮廓区域进行三角剖分。

6.根据权利要求4所述的基于移动平台的视频换脸系统，其特征在于，还包括帧间平滑模块：

对换脸后的视频选取连续设定帧数的关键点进行加权平均处理。