[发明专利]基于三维头像的聋儿语言康复方法及系统

说明书

技术领域

本发明涉及一种训练聋儿发音的方法以及实现这种方法的系统，特别是 一种基于三维头像的聋儿语言康复方法及其系统，尤指一种利用计算机三维 建模技术、语音识别技术、图像识别技术相结合进行聋儿汉语发音康复的基 于三维头像的聋儿语言康复方法及其系统。

背景技术

儿童的语言能力主要通过自然习得。聋儿由于听力障碍，使得语言听说 的能力远远落后于同龄健全儿童。而学龄前是儿童获得语言的关键时期，医 学专家指出：0～3岁是儿童大脑发育最快的时期，也是学习语言的最关键期。 7岁以前是最佳期，7～12岁是可塑期。如果此时发生耳聋，则严重影响儿童 的听觉，言语发育，同时也影响其他方面的发展。聋儿语言康复训练主要针 对学龄前聋儿，旨在通过语言康复训练，帮助聋儿学习语音，理解语词，培养 语感及自主学习语言的意识，使其具有一定的懂话能力，说话能力，达到能听 会说，聋而不哑，为其今后的知识学习和参与社会活动奠定基础。

中国实用新型专利申请号为85200511，公开号为85200511，专利名称 为“TET-型聋哑学话机”公开了一种聋哑学话机专供聋哑学校训练全班学生 说话的设备，该设备具有适宜聋哑人的特殊立体声集成音响系统，采用三种 机电传感器。中国发明专利申请号为91109902.6，公开号为CN1071595，专 利名称为“聋儿康复仪”公开了一种用电子学方法使产生的500-800 G S磁场作用于耳周穴位。这种磁场应在某种音乐旋律调制下成为有节奏变 化的磁场。特征是将音乐调制的磁场做在头环的耳机上，并使磁场紧靠耳周 穴位，用途是治疗各种原因造成的小儿感音区性耳聋。中国实用新型专利申 请号为99113117.7，公开号为1280862，专利名称为“聋儿双项速成康复法” 公开了一种涉及聋儿听力、语言康复的新方法，借助理疗、磁疗等方法提高 听神经细胞活力，激发听神经潜能，促进听神经细胞的再生，从而提高听觉 能力，然后结合辅助功能训练，采用多种形式、多种方式，适用于发明相配 套的自编教材，对聋儿进行系统的科学的听力、语音、语言程序训练，使其 在短时间内开口说话。但上述方法使用单纯的录音、指认图片，时间长了他 们会感到厌烦，学习兴趣大幅度降低，很多孩子还拒绝这种训练。中国实用 新型专利申请号为902144413，公开号为2071362，专利名称为“聋哑人语 言教学机”公开了一种适用于聋哑人用的语言教学机，其内部电路中加接有 选择开关、滤波选通电路以及音量平衡电位器，聋哑人根据两耳残余听力可 以选择不同的频率响应以及音量，达到最佳的听力以及听觉与视觉的统一， 从而改变了单靠手势的聋儿语言教学法

上述各种涉及聋儿听力、语言康复的方法和教学机，对聋儿语音开发具 有一定作用，但均有各自的缺点和应用的局限性，这些问题需要进一步加以 改进。

发明内容

本发明的目的是为了克服目前聋儿语言康复方法及康复系统单调枯燥 以及无反馈诊断过程的不足，将三维建模与可视语音技术相结合，建立基于 参数驱动的三维唇动模型及适合聋儿康复的三维汉语辅助发音可视语音库， 并在建立三维会话头像的基础上，结合语音识别和图像识别技术对聋儿发音 进行校正，以达到帮助聋儿恢复汉语发音功能的目的，特别是辅助3-7岁聋 儿学习汉语发音，以便他们能够进入正常学校读书。

为了实现本发明的目的，本发明采用以下技术方案：一种基于三维头像 的聋儿语言康复方法，使聋儿在汉语发音学习中通过视觉直观看到显示屏幕 上的三维人体头像模拟发音过程，通过半透明的头像可以看到内部发音器官 发音过程的动作序列，一边模仿一边练习，具体内容包括：

a.通过显示屏幕向聋儿播放某一汉语文字、词、短语、简单句子的可视 化三维头像发音过程，同时播放该信息的语音，该发音过程是经过参数驱动 三维头像的各个发音器官完成的，接下来进行步骤b；

b.聋儿根据屏幕显示的发音过程进行发音练习，同时系统收集聋儿练习 过程的音频和视频资料，通过唇读技术的视频分析和语音识别技术的音频分 析，给聋儿发音进行评分：优秀、合格、不合格，若合格进入步骤c，若优 秀进入步骤d，若不合格进入步骤e；

c.鼓励学生继续进行练习，争取达到优秀标准，若聋儿选择继续练习则 返回到刚刚训练的内容，同时系统进入步骤b，若不想继续学习此内容则可选 择进入下一训练环节，同时系统进入步骤b，或者进入步骤f；