[发明专利]说话视频生成方法及装置

权利要求书

1.一种说话视频生成方法，其特征在于，包括：

基于待生成的说话视频对应的语音帧序列以及参考图像，确定所述语音帧序列中每个语音帧对应的运动参数；

基于所述参考图像、预设人脸模型、以及每个所述语音帧对应的运动参数，确定每个所述语音帧对应的稠密运动场；

基于所述参考图像和每个所述语音帧对应的稠密运动场，生成所述待生成的说话视频中与每个所述语音帧对应的帧图像；

基于所述参考图像、预设人脸模型、以及每个所述语音帧对应的运动参数，确定每个所述语音帧对应的稠密运动场，包括：

基于每个所述语音帧对应的运动参数调整所述预设人脸模型得到每个所述语音帧对应的人脸模型；

将每个所述语音帧对应的人脸模型投影到所述参考图像中，得到每个所述语音帧对应的投影图像；

基于每个所述语音帧对应的投影图像确定每个所述语音帧对应的稠密运动场。

2.根据权利要求1所述的方法，其特征在于，所述基于待生成的说话视频对应的语音帧序列以及参考图像，确定所述语音帧序列中每个语音帧对应的运动参数，包括：

基于预先训练的人脸识别模型对参考图像进行人脸识别，得到人脸特征；

基于预先训练的语音特征提取器对待生成的说话视频对应的语音帧序列中的每个语音帧进行特征提取，得到每个所述语音帧对应的语音特征；

将每个所述语音帧对应的语音特征与所述人脸特征进行融合，得到每个所述语音帧对应的融合特征；

基于每个所述语音帧对应的融合特征，确定每个所述语音帧对应的运动参数。

3.根据权利要求2所述的方法，其特征在于，将每个所述语音帧对应的语音特征与所述人脸特征进行融合，得到每个所述语音帧对应的融合特征，包括：

基于预先训练的全连接网络以及所述人脸特征，确定自适应实例归一化的参数；

将每个所述语音帧对应的语音特征与所述自适应实例归一化的参数进行融合，得到每个所述语音帧对应的融合特征。

4.根据权利要求2所述的方法，其特征在于，运动参数包括嘴唇运动参数、表情运动参数以及头部运动参数；所述基于每个所述语音帧对应的融合特征，确定每个所述语音帧对应的运动参数，包括：

基于每个所述语音帧对应的融合特征和预先训练的运动参数识别模型中的嘴唇运动分支，确定每个所述语音帧对应的嘴唇运动参数；

基于每个所述语音帧对应的融合特征和预先训练的运动参数识别模型中的长时依赖解码器和表情运动分支，确定每个所述语音帧对应的表情运动参数；

基于每个所述语音帧对应的融合特征和预先训练的运动参数识别模型中的长时依赖解码器和头部运动分支，确定每个所述语音帧对应的头部运动参数。

5.根据权利要求1所述的方法，其特征在于，投影图像包括面部区域、躯干区域以及除所述面部区域和所述躯干区域以外的其他区域。

6.根据权利要求5所述的方法，其特征在于，所述基于每个所述语音帧对应的投影图像确定每个所述语音帧对应的稠密运动场包括：

基于每个所述语音帧对应的投影图像与上一语音帧对应的投影图像之间的差别，确定每个所述语音帧对应的第一稠密运动场；

基于每个所述语音帧对应的第一稠密运动场确定每个语音帧对应的面部区域的稠密运动场；

基于每个语音帧对应的第一稠密运动场，确定头部区域的平均运动场，并基于所述头部区域的平均运动场确定每个所述语音帧对应的躯干区域稠密运动场；

基于每个所述语音帧对应的面部区域中面部区域边缘的稠密运动场，确定每个所述语音帧对应的其他区域的稠密运动场；

基于每个所述语音帧对应的面部区域的稠密运动场、躯干区域稠密运动场和其他区域的稠密运动场，确定每个所述语音帧对应的稠密运动场。

7.根据权利要求6所述的方法，其特征在于，所述面部区域与所述头部区域为同一区域。