[发明专利]基于汉语文本驱动的人脸语音同步动画的处理方法

权利要求书

1.一种基于汉语文本驱动的人脸语音同步动画的处理方法，其特征在于该方法包括下列步骤：

①采集人脸图像：由光源将光线照在欲采集的人脸上产生表示人脸特征的反射光或透射光，再由CCD探测器将光信号转换成相应的电信号；或从存储设备中读取人脸图像；

②人脸检测：对步骤①所得的人脸图像进行预处理，然后利用AdaBoost算法检测人脸区域；

③人脸特征提取：在步骤②所检测到的人脸区域内，利用ASM算法提取人脸的特征点，其中嘴部提取32个特征点，眼睛部提取20个特征点，鼻部和脸部外围轮廓提取30个特征点；

④关键帧合成：根据步骤③嘴部所提取的32个特征点将嘴部图像划分为49个互不重叠的三角形区块，根据对中文可视音素的分类和定义，运用自由格式变形算法控制步骤③中提取到的特征点和所述三角形区块在人脸平面内移动和格式变形，合成出相应的人脸动画关键帧；

⑤过渡帧合成：首先，根据步骤④每相邻两关键帧的特征点，以时间为参数对其进行线性插值计算出过渡帧的特征点，再根据该嘴部32个过渡帧的特征点将嘴部划分为49个互不重叠的三角形区块，对这些三角形区块运用自由格式变形算法合成出相应的人脸动画过渡帧；

然后，根据16组中文可视音素和中文可视音素的定义和分类，在每相邻两帧关键帧之间插入不同数目的过渡帧；

⑥中文文本输入：输入中文文本或从存储设备中读取中文文本；

⑦文本分析：对步骤⑥所得到的文本内容进行分析，得到该文本对应的中文可视音素流；

⑧文本语音转换：将步骤⑥所得到的文本内容转换为声音信号的语音流；

⑨动画流与语音流同步：将步骤④所合成的关键帧对齐到步骤⑧所转换的语音流上；

⑩人脸语音与动画的同步输出。

2.根据权利要求1所述的人脸语音同步动画的处理方法，特征在于，所述的步骤①到步骤⑤与所述的步骤⑥到步骤⑧同时进行。

3.根据权利要求1或2所述的人脸语音同步动画的处理方法，特征在于，所述的中文可视音素的定义和分类是指按汉语发音时的嘴唇动作特征，将所有的汉语拼音归类为16种中文可视音素类。

4.根据权利要求1或2所述的人脸语音同步动画的处理方法，特征在于，所述的预处理是指对输入的人脸图像进行平滑滤波和角度校正处理。