[发明专利]基于三维头像的聋儿语言康复方法及系统

权利要求书

1.一种基于三维头像的聋儿语言康复方法，其特征在于：使聋儿在汉 语发音学习中通过视觉直观看到显示屏幕上的三维会话头像模拟发音过程， 通过半透明的头像可以看到内部发音器官发音过程的动作序列，一边模仿一 边练习，具体方法是：

a.通过显示屏幕向聋儿播放某一汉语文字、词、短语、简单句子的可视 化三维头像发音过程，同时播放该信息的语音，该发音过程是经过参数驱动 3D头像的各个发音器官完成的，接下来进行步骤b；

b.聋儿根据屏幕显示的发音过程进行发音练习，同时系统收集聋儿练习 过程的音频和视频资料，通过唇读技术的视频分析和语音识别技术的音频分 析给聋儿发音进行评分：优秀、合格、不合格，若合格进入步骤c，若优秀 进入步骤d，若不合格进入步骤e；

c.鼓励学生继续进行练习，争取达到优秀标准，若聋儿选择继续练习则 返回到刚刚训练的内容，同时系统进入步骤b，若不想继续学习此内容则可选 择进入下一训练环节，同时系统进入步骤b，或者进入步骤f；

d.给予聋儿一定奖励，好看的图片或是动画，激励聋儿继续努力学习， 若想继续学习可选择进入下一训练环节，同时系统进入步骤b，或者进入步 骤f；

e.给予聋儿一定鼓励，同时重新播放正确的三维头像发音过程，通过视 频分析，提示其在刚刚发音过程中的错误之处，并系统进入步骤b；

f.退出系统。

2.一种基于三维头像的聋儿语言康复系统，其特征在于包括：数据处 理装置、数据输入装置、数据输出装置，以及视音频接收处理装置，具体包 括如下信息：

一个三维头像模型库，由若干三维头像模型组成，每一模型都应特定聋 儿的头部形态，并且每一头像的发音器官设置多个参数点；

一个汉语可视语音参数库，用以驱动三维头像模型的参数，每一参数对 应一个音、字、词、句子汉语单元；

一个语训库，按照聋儿发音康复不同阶段分为高级、中级、初级三个等 级，分别装载各自不同级别的发音单元；

一个受训者资料库，记录受训者学习情况，并对受训者所学发音过程进 行统计评估，通过评估认定受训者应该在哪个语训等级中；

一个图形显示模块，根据系统输入需要显示的相应语训等级中的汉语单 元，从参数库中调取参数驱动头像模型，进入可视化三维头像发音过程；

一个视频音频接收模块，接收聋儿发音过程的视音频文件；

一个判断模块，通过语音识别和唇读识别技术判断聋儿发音的级别：优 秀或合格或不合格；

一个反馈模块，根据判断模块的结果提取上述记录的聋儿发音过程文 件，或者提示聋儿如何正确发音，或者播放正确的发音过程。

3.依据权利要求2所述的一种基于三维头像的聋儿语言康复系统，其 特征在于：其中数据处理装置包括图形处理卡和声音处理卡，数据输出装置 为LCD显示器。

4.依据权利要求2所述的一种基于三维头像的聋儿语言康复系统，其 特征在于：其中数据输入装置包括视频采集装置和音频采集装置，为摄像头 和麦克。