[发明专利]级联卷积LSTM的语音驱动唇形同步人脸视频合成算法

权利要求书

1.一种级联卷积LSTM的语音驱动唇形同步人脸视频合成算法，其特征在于包括如下步骤：

1)采集目标人物的说话视频作为底板视频，从对底板视频提取出图像序列和音频信号，对底板视频的图像序列进行三维人脸重建，获得目标三维人脸模型，再从目标三维人脸模型中获得对应于该底板视频的面部动画向量序列；

2)针对底板视频的音频信号以及用户输入语音的音频信号或文本合成语音的音频信号，均采用特征提取方法提取出滤波器组的语音特征；

3)将滤波器组的语音特征作为级联卷积长短时记忆网络的输入，以面部动画向量序列作为输出进行训练和测试；训练阶段使用从底板视频的音频信号提取的滤波器组的语音特征作为训练输入数据，底板视频的面部动画向量序列作为训练输入标签；测试阶段使用从用户输入语音的音频信号或文本合成语音的音频信号提取的滤波器组的语音特征作为测试输入数据，预测获得用户输入语音或文本合成语音的面部动画向量序列；

所述步骤3)中的级联卷积长短时记忆网络结构，主要是由输入层、二维卷积层、两个级联的卷积长短时记忆网络、四个级联的全连接长短时记忆网络、三个级联的全连接层网络和输出层依次顺序连接而成；其中二维卷积层的卷积核大小为5*5且卷积核个数为32，两个级联的卷积长短时记忆网络的卷积核大小均为3*3且内部单元数分别为64和100，四个级联的全连接长短时记忆网络的单元数分别为60、100、200、300，三个级联的全连接层网络的卷积核大小分别为200、100、29；

所述的级联卷积长短时记忆网络结构采用以下公式的三元组损失函数，如下：

L_tri＝max(0,p-α×n)

其中，y是指训练时的预测面部动画向量序列，是指底板视频的面部动画向量序列，是指经随机打乱的面部动画向量序列，是将底板视频的面部动画向量序列中的各的面部动画向量随机打乱后重新排序获得的面部动画向量序列，p是指训练时的预测面部动画向量序列y和底板视频的面部动画向量序列之间的距离，n是指锚样例和负样例之间的距离，L_tri是所求的三元组损失，α是权重系数，i表示从底板视频的音频信号提取的滤波器组的语音特征的帧序数，N表示从底板视频的音频信号提取的滤波器组的语音特征的帧总数；

4)用用户输入语音或文本合成语音的面部动画向量序列替换目标三维人脸模型中的面部动画向量序列，再结合三维人脸追踪方式生成新的三维人脸模型；

所述步骤4)使用三维人脸追踪方法获得目标人物的头部姿态和光照系数，头部姿态和光照系数组成构建新的三维人脸模型；

5)使用新的三维人脸模型，渲染出人脸图像并嵌入到底板视频的图像序列中，最终合成唇形同步人脸视频。

2.根据权利要求1所述的一种级联卷积LSTM的语音驱动唇形同步人脸视频合成算法，其特征在于：所述步骤1)中的目标三维人脸模型使用了三维形变模型三维人脸重建。

3.根据权利要求1所述的一种级联卷积LSTM的语音驱动唇形同步人脸视频合成算法，其特征在于：所述步骤2)中的特征提取方法为基于滤波器组的语音特征提取方法。

4.根据权利要求1所述级联卷积LSTM的语音驱动唇形同步人脸视频合成算法，其特征在于：所述步骤5)中，渲染人脸图像使用基于数据驱动的相似纹理检索方法以匹配到最符合当前语音的嘴唇图像，再结合嘴唇图像进行最终人脸图像的渲染，合成唇形同步人脸视频。

5.根据权利要求1所述级联卷积LSTM的语音驱动唇形同步人脸视频合成算法，其特征在于：所述步骤1)中的目标人物的说话视频采用Kinect 2.0相机采集。