[发明专利]面向听障儿童语训的舌部训练方法及其系统

权利要求书

1.一种面向听障儿童语训的舌部训练方法及其系统，其特征在于：将三维建模技术与传感器技术相结合，建立基于视觉反馈模型及适合听障儿童语训的标准数据库，并在建立标准数据库的基础上，结合传感器技术对听障儿童发音过程的舌部运动进行校正，以达到帮助听障儿童在恢复汉语发音过程中正确发音，聋儿在发音学习中通过视觉直观看到显示屏幕上的的三维模型的模拟发音过程，通过半透明的头像可以看到舌部发音器官发音过程的动作序列及与上腭贴合的位置，一边模仿一边练习，具体内容包括：

步骤1：聋儿根据自己的训练层次，首先选择一种舌部发音训练环节，比如元音训练，辅音训练，音调训练等，显示屏幕上的舌部模型播放某一汉语音素的发音过程，同时播放该信息的语音，该发音过程是经过参数驱动三维舌部模型完成的，接下来进行步骤2；

步骤2：听障儿童根据屏幕显示的发音过程进行发音练习，同时系统收集听障儿童练习过程的音频信息和传感器信息，并通过传感器技术和语音识别技术进行分析，给听障儿童发音进行评价：优秀、合格、不合格，若合格进入步骤3，若优秀进入步骤4，若不合格进入步骤5；

步骤3：鼓励学生继续进行练习，争取达到优秀标准，若听障儿童选择继续练习则返回到刚刚训练的内容，同时系统进入步骤2,若不想继续学习此内容则可选择进入下一训练环节，同时系统进入步骤1，或者进入步骤6；

步骤4：给予听障儿童一定奖励，一段视频或是动画，激励听障儿童继续努力学习，若想继续学习可选择进入下一训练环节，同时系统进入步骤2，或者进入步骤6；

步骤5：给予听障儿童一定鼓励，同时重新播放正确的三维舌部模型发音过程，通过视频分析，提示其在刚刚发音过程中的错误之处，并系统进入步骤2或者进入步骤6；

步骤6：退出系统。

2.一种实现上述方法的听障儿童语训的系统，其特征在于包括：

1）舌部训练基本素材单元 ，包括五种训练素材：汉语音素/t/、/d/和/n/，汉语音素/k/、/g/和/ng/，汉语音素/zh/、/ch/和/sh/，汉语音素/l/，汉语音素/z/、/c/和/s/，每一种音素经参数驱动后都会形成与之对应的模拟动画；

2）标准舌部训练参数单元，用以驱动舌部模型的参数，每一参数对应一个音素单元；

3）舌部训练单元，按照听障儿童训练不同阶段分为元音、辅音、音调三个等级，分别装载各自不同级别的训练单元；

4）音频接收模块、接收听障儿童发音过程的音频文件；

5）传感器模块，接收来自传感器的信息；

6）显示模块，根据系统输入需要显示的相应语训等级中的音素单元，从参数库中调取参数驱动舌部模型，进入可视化舌部模型发音过程；

7）受训者数据库，记录受训者学习情况，并对受训者所学发音过程进行统计评估，通过评估认定受训者应该在哪个语训等级中；

8）判断模块，通过语音识别识别技术判断听障儿童发音的级别：优秀或合格或不合格；

9）反馈模块，根据判断模块的结果提取上述记录的听障儿童发音过程文件，或者提示听障儿童如何正确发音，或者播放正确的发音过程。