[发明专利]一种基于综合加权算法的口型动画合成方法

权利要求书

1.一种基于综合加权算法的口型动画合成方法，其特征在于，依次包括以下步骤：

步骤1：输入汉语文本，针对输入的汉语文本进行分析，将汉字拆分为不同的汉语可视化音素，并将这些因素发送到语音合成系统合成为基本的可视化音素流；

步骤2：基于MPEG-4标准建立具有真实感的参数人脸模型，使用可视化音素动画帧参数驱动模型的形变，实现人脸口型动画；

步骤3：从输入汉语文本中获得与输入汉语文本同步的输入背景噪声，对输入背景噪声进行分析，进行输入背景噪声平滑处理，得到初始输入背景噪声；

步骤4：从汉字拆分为不同的汉语可视化音素中分别提取音素拆分后的音素输入背景噪声，对音素输入背景噪声进行分析，进行音素输入背景噪声平滑处理，得到初始音素输入背景噪声；

步骤5：利用得到的初始音素输入背景噪声，对得到的初始输入背景噪声进行校正，得到校正后的输入背景噪声；

步骤6：基于综合加权算法，获得声韵时间控制比例，添加声韵权重值因子，重新计算单音素口型动画的时间，控制口型动画的合成，将合成的汉语语音与人脸口型动画同步；

步骤7：根据动画场景添加背景图像，与合成的汉语语音与人脸口型动画同步；

步骤8：基于综合加权算法，获得噪声时间控制比例，添加噪声权重值因子，计算校正后的输入背景噪声的噪声同步时间；

步骤9：根据动画合成的需求，选择控制添加校正后的输入背景噪声，与合成汉语语音、人脸口型动画和背景图像的合成动画进行同步，实现逼真的人脸口型动画。

2.如权利要求1所述的一种基于综合加权算法的口型动画合成方法，其特征在于：所述针对输入的汉语文本进行分析，将汉字拆分为不同的汉语可视化音素是将汉字按照标准汉语拼音中声母和韵母的划分，完成口型拼音声部和口型拼音韵部的定义，将汉字的标准拼音转换成口型声部和口型韵部符号组成的口型拼音。

3.如权利要求1所述的一种基于综合加权算法的口型动画合成方法，其特征在于：所述基于综合加权算法，获得的声韵时间控制比例，添加声韵权重值因子，重新计算单音素口型动画的时间，控制口型动画的合成包括以下步骤：

语音段a、b内各时间帧的特征矢量分别为X_i，Y_i，其中1≤i≤N_a，1≤j≤N_b，X_i与Y_i的欧氏距离为d_ij，那么a、b段的段间距离为：

$D_{a,b}=\frac{1}{N_a{N}_b}\underset{i=1}{\overset{N_a}{\Σ}}\underset{j=1}{\overset{N_b}{\Σ}}{d}_{ij}$

D_a,b为a、b间所有特征矢量距离的平均值，反映了a、b之间的总体差异，待分割的口型动画被划分为T帧,分别标记为1，……，T，以第t帧为分界，前后各取m帧构成两个子语音段，即i∈[t-m+1,……,t]与j∈[t+1,……,t+m]，得到这两个子语音段的段间距离为

$D_t=\frac{1}{m^2}\underset{i=t-m+1}{\overset{t}{\Σ}}\underset{j=t+1}{\overset{t+m}{\Σ}}{d}_{ij}$

计算获得的声韵时间控制比例，添加声韵权重值w_s、w_y因子，重新计算单音素口型动画的时间，控制口型动画的合成：

$t_s=w_s{\stackrel{\‾}{t}}_p;t_y=w_y{\stackrel{\‾}{t}}_p;$

其中w_s+w_y＝1；

采取M组数据每组数据N个样点，并对其进行平均化处理，经过特征系统的评估，将取方差最小时时间数据的平均时间作为进行口型动画合成的单汉字口型动画的标准时间。

4.如权利要求3所述的一种基于综合加权算法的口型动画合成方法，其特征在于：所述基于综合加权算法，获得的声韵时间控制比例，添加声韵权重值因子，重新计算单音素口型动画的时间，控制口型动画的合成还包括以下步骤：考虑汉语标点符号对连续口型变化的影响，在合成连续动画时考虑在句内或句末出现的停顿时间较长的7种点号，即句号、叹号、问号、顿号、逗号、分号、冒号，根据这7种标号在句中或者句末停顿时间的长短赋以不同的权值w_bi，

$t_s^{\′}=w_s{\stackrel{\‾}{t}}_p{w}_{bi};t_y^{\′}=w_y{\stackrel{\‾}{t}}_p{w}_{bi};$

w_bi代表标号中第i个标号的权重值，通过改变一定限度内的w_bi标号权重值生成类似的训练集的基本口型，用到连续动画合成通道上。