[发明专利]基于汉语文本驱动的人脸语音同步动画的处理方法

说明书

技术领域

本发明涉及人脸语音同步动画技术领域，具体是涉及一种基于汉语文本驱动的人脸语音同步动画的处理方法。

背景技术

文字信息、声音信息和视觉信息是当今人类信息和知识的主要表现形式，同时它们也是人类进行学习和交流的重要工具。时至今日，多种信息之间的交互作用越来越受到人们的关注，把文字、声音和图像集成在一起，形成直接由文本到可视语音的转换，即语音同步的人脸动画系统，让人们在听计算机发出声音的同时能看到一个同步说话的人脸，使人机交互界面更为友好、和谐。人脸语音同步动画技术在近几十年中，从最初的存储静态图片顺序播放到如今的三维人脸实时合成动画的实现，技术的创新和产品的推出可谓是一日千里。中国科学技术大学的研究团队实现了一个与MPEG-4标准相兼容的语音同步动画系统，该系统利用一个中性的三维人头模型和正面侧面两张真人照片实现了一个三维的“说话头”(talking head)，但其所实现的动画效果较为卡通化，与真实人物说话还有比较大的差距。上海交通大学的研究团队用一个中性的三维人头模型和一张正面人脸照片实现了一个人脸动画系统，但其过渡帧的插入和动画流与语音流在时间轴上的同步对齐问题处理得非常简陋和粗糙，生成的动画时常有闪烁和不自然的情况发生。

经过对现有技术文献的检索发现，中国专利申请号：201010263097.7，发明专利名称：基于协同过滤算法的实时语音驱动人脸唇动同步动画系统，其特点是通过实时录入语音，使得人物头部模型做出与输入语音同步的唇部动画。该系统可以利用数字录音设备，实时地接收输入的语音信号，并实时地输出与语音同步的人脸唇部动画，在生成多模态同步库时不需要手工标注，可任意输入男女语音进行语音驱动的唇部动画。可是该系统需要专门的多模态数据采集设备同步地采集录制说话人在说话中语音和人脸三维特征点运动信息，必然增加了系统实现的难度进而限制了该系统的使用范围，而且该系统基于语音驱动，需要事先在动画生成之前录下朗读的声音信息，不能对于任意的需要朗读的文本生成相应的动画。中国专利申请号：200910263558.8，发明专利名称：语音驱动唇形动画的方法，该方法的实现需要采集若干个人的原始音频数据和视频数据：每个人读声母和韵母单词，同时使用DV或者摄像机拍摄，以获取音频流和视频流数据，需要采集的内容较多，也不是完全的自动化。

发明内容

本发明的目的在于克服上述现有技术中的不足，提供一种基于汉语文本驱动的人脸语音同步动画系统的方法，该系统完全自动化，只需要一台带摄像头的计算机，输入想要朗读的文本内容，就可以得到任意人脸朗读任意汉语文本的语音同步动画效果，输出效果真实流畅。

本发明是通过以下技术方案实现的：

一种基于汉语文本驱动的人脸语音同步动画的处理方法，其特征在于该方法包括下列步骤：

①采集人脸图像：由光源将光线照在欲采集的人脸上产生表示人脸特征的反射光或透射光，再由CCD探测器将光信号转换成相应的电信号；或从存储设备中读取人脸图像；

②人脸检测：对步骤①所得的人脸图像进行预处理，然后利用AdaBoost算法检测人脸区域；

③人脸特征提取：在步骤②所检测到的人脸区域内，利用ASM算法提取人脸的特征点，其中嘴部提取32个特征点，眼睛部提取20个特征点，鼻部和脸部外围轮廓提取30个特征点；

④关键帧合成：根据步骤③嘴部所提取的32个特征点将嘴部图像划分为49个互不重叠的三角形区块，根据对中文可视音素的分类和定义，运用自由格式变形算法控制步骤③中提取到的特征点和所述三角形区块在人脸平面内移动和格式变形，合成出相应的人脸动画关键帧；

⑤过渡帧合成：首先，根据步骤④每相邻两关键帧的特征点，以时间为参数对其进行线性插值计算出过渡帧的特征点，再根据该嘴部32个过渡帧的特征点将嘴部划分为49个互不重叠的三角形区块，对这些三角形区块运用自由格式变形算法合成出相应的人脸动画过渡帧；

然后，根据16组中文可视音素和中文可视音素的定义和分类，在每相邻两帧关键帧之间插入不同数目的过渡帧；

⑥中文文本输入：输入中文文本或从存储设备中读取中文文本；

⑦文本分析：对步骤⑥所得到的文本内容进行分析，得到该文本对应的中文可视音素流；

⑧文本语音转换：将步骤⑥所得到的文本内容转换为声音信号的语音流；

⑨动画流与语音流同步：将步骤④所合成的关键帧对齐到步骤⑧所转换的语音流上；

⑩人脸语音与动画的同步输出，显示合成的人脸语音同步动画效果。