[发明专利]视频换脸方法、电子设备和计算机可读存储介质

权利要求书

1.一种视频换脸方法，其特征在于，包括：

确定待换脸视频中的第一人脸；

获取预设的第二人脸的人脸素材库；其中，所述人脸素材库中的各人脸素材标注有特征标签，所述特征标签至少包括用于表征人脸动作特征的动作标签；

根据所述特征标签，在所述人脸素材库中确定与所述第一人脸匹配的人脸素材；

将所述待换脸视频中的所述第一人脸替换为所述匹配的人脸素材，得到换脸后的视频。

2.根据权利要求1所述的视频换脸方法，其特征在于，所述获取预设的第二人脸的人脸素材库，包括：

获取所述第二人脸的人脸素材集；

提取所述人脸素材集中各人脸素材的人脸特征；其中，所述人脸特征包括人脸动作特征；

根据所述人脸特征对各所述人脸素材标注特征标签，生成所述预设的第二人脸的人脸素材库。

3.根据权利要求2所述的视频换脸方法，其特征在于，若所述人脸素材为连续的帧序列，通过以下方式提取人脸动作特征：

提取所述连续的帧序列中每一帧的人脸特征；

根据预设的联合函数，确定所述连续的帧序列对应的联合特征；其中，所述联合函数用于联合所述连续的帧序列中每一帧的人脸特征；

根据所述联合特征，确定所述连续的帧序列对应的人脸动作特征。

4.根据权利要求3所述的视频换脸方法，其特征在于，所述根据所述联合特征，确定所述连续的帧序列对应的人脸动作特征，包括：

根据用于预估不同人脸动作类别的类别概率的动作定位模型和所述联合特征，预估所述连续的帧序列分属不同人脸动作类别的类别概率；其中，所述动作定位模型预先根据若干标注有不同动作类别的帧序列训练得到；

根据所述连续的帧序列分属不同人脸动作类别的类别概率，确定所述连续的帧序列对应的人脸动作特征。

5.根据权利要求4所述的视频换脸方法，其特征在于，通过以下公式预估所述连续的帧序列分属不同人脸动作类别的类别概率：

其中，所述为所述连续的帧序列分属不同人脸动作类别的类别概率，所述T为所述帧序列的帧数，所述σ(h(f(I_t，θ)，θ_cls))为所述帧序列中的第t帧分属不同人脸动作类别的类别概率，所述h(f(I_t，θ)，θ_cls)为所述联合特征，所述f(I_t，θ)为所述第t帧的特征向量，所述θ为预设的所述特征向量的学习参数，所述I_t为用于表征所述帧序列中的第t帧的帧向量，所述θ_cls为预设的所述联合函数的可训练参数。

6.根据权利要求2所述的视频换脸方法，其特征在于，所述获取所述预设的第二人脸的人脸素材集，包括：

开启播放所述待换脸视频的设备的摄像头，实时扫描所述第二人脸；

根据实时扫描的结果，获取所述第二人脸的人脸素材集；或者，

访问播放所述待换脸视频的设备的本地相册；

根据所述本地相册中的图片和/或视频，获取所述第二人脸的人脸素材集。

7.根据权利要求2所述的视频换脸方法，其特征在于，所述提取所述人脸素材集中的各人脸素材的人脸特征，包括：

对各所述人脸素材进行区域划分，得到各所述人脸素材对应的不同区域；

提取各所述人脸素材对应的不同区域的人脸特征；

所述根据所述人脸特征对各所述人脸素材标注特征标签，生成所述第二人脸的人脸素材库，包括：

根据各所述人脸素材对应的不同区域的人脸特征，生成所述第二人脸的不同区域对应的人脸素材库。

8.根据权利要求1所述的视频换脸方法，其特征在于，在所述得到换脸后的视频之后，还包括：

确定对所述换脸后的视频的下载限制方式；

利用所述下载限制方式，对所述换脸后的视频进行下载限制。