[发明专利]一种脸部驱动和直播方法、装置、计算机设备和存储介质

权利要求书

1.一种脸部驱动方法，其特征在于，包括：

获取源图像和驱动图像，源图像和驱动图像中包括不同对象的脸部数据；

根据在源图像中提取的脸部外观特征，以及在驱动图像中提取的脸部姿态表情特征，合成得到至少一张合成脸部图像；

根据各合成脸部图像的脸部特征，以及源图像的背景特征，合成得到目标驱动图像。

2.根据权利要求1所述的方法，其特征在于，根据在源图像中提取的脸部外观特征，以及在驱动图像中提取的脸部姿态表情特征，合成得到至少一张合成脸部图像，包括：

将源图像和驱动图像分别输入至脸部重建网络中，获取源图像中的脸部形状向量集和脸部纹理向量集，并获取驱动图像中的脸部表情向量集和脸部角度向量集；

将脸部形状向量集、脸部纹理向量集、脸部表情向量集和脸部角度向量集共同输入至脸部渲染模型中，获取脸部渲染模型合成得到的合成脸部渲染图像和合成脸部深度图像。

3.根据权利要求2所述的方法，其特征在于，根据各合成脸部图像的脸部特征，以及源图像的背景特征，合成得到目标驱动图像，包括：

将源图像输入至预先训练的特征编码器中，获取源图像的背景特征编码；

将各合成脸部图像以及所述背景特征编码共同输入至预先训练的神经网络模型中，获取神经网络模型合成得到的目标驱动图像；

其中，特征编码器和神经网络模型使用相同的训练样本集，以无监督的方式共同训练得到，训练样本包括：源样本图像和驱动样本图像，源样本图像和驱动样本图像中的脸部数据所属的对象相同或不同。

4.根据权利要求3所述的方法，其特征在于，所述神经网络模型为Unet神经网络模型；

所述Unet神经网络模型包括：相连的神经网络编码器以及神经网络解码器，所述特征编码器的输出端与所述神经网络解码器的输入端相连；各合成脸部图像输入至神经网络编码器的输入端；

所述神经网络编码器，用于生成各合成脸部图像的脸部特征，并传输至所述神经网络解码器；

所述神经网络解码器，用于根据各合成脸部图像的脸部特征以及源图像的背景特征编码，合成得到的目标驱动图像。

5.根据权利要求3所述的方法，其特征在于，在根据各合成脸部图像的脸部特征，以及源图像的背景特征，合成得到目标驱动图像之前，还包括：

在训练样本集中依次获取当前训练样本，并获取当前训练样本中的当前源样本图像以及当前驱动样本图像；

采用所述脸部重建网络和所述脸部渲染模型，获取与所述当前源样本图像以及当前驱动样本图像对应的当前合成脸部渲染图像和当前合成脸部深度图像；

采用当前训练的所述特征编码器和所述神经网络模型，根据当前合成脸部渲染图像和当前合成脸部深度图像，合成得到当前目标驱动图像；

根据将当前目标驱动图像重新输入至所述脸部重建网络和所述特征编码器得到的结果，计算得到目标损失函数；

使用目标损失函数对所述特征编码器和所述神经网络模型进行参数调整后，返回执行在训练样本集中依次获取当前训练样本的操作，直至满足结束训练条件。