[发明专利]一种基于元宇宙的唇语学习辅助训练系统及其应用

说明书

本发明公开了一种基于元宇宙的唇语学习辅助训练系统及其应用，其中系统包括：唇读训练模块，用于存储标准唇形视频，建立元宇宙学习场景，使得用户在元宇宙学习场景中通过标准唇形视频进行唇读训练，计算用户唇读的文本和标准唇形视频的文本之间的相似度；虚拟人对答沟通模块，用于建立元宇宙社交场景，使得用户在元宇宙社交场景中与虚拟人进行对答沟通；用户个人中心模块，用于记录和反馈用户的唇读训练效果，将用户的音频与人脸结合形成用户的虚拟形象，使得用户在元宇宙社交场景中以虚拟形象与其他用户进行对答沟通。本发明系统可以提高唇语学习的准确率，及时反馈学习效果，互动性强，学习辅助方式多样，使用户通过系统辅助增强沟通能力。

技术领域

本发明属于唇语学习领域，更具体地，涉及一种基于元宇宙的唇语学习辅助训练系统及其应用。

背景技术

听障人士是社会不可或缺的一份子，过去为了帮助听障人士更好地融入社会生活，已经进行了大量的工作。但这些成果或需要复杂昂贵的设备，或使用困难、得不到广泛应用，此外以往的成果普遍缺乏对听障人士心灵上的关怀，辅助聋哑人融入社会，难以有效解决问题。因此，建设一套设备简单、操作便捷、容易掌握、提供人文关怀的听障辅助系统，对听障人士生活质量、社会参与度、幸福感的提高起到十分重要的作用。

现有的辅助硬件系统包括：

(1)手语翻译手套

a.通过手套关节处的五个用于采集关节运动状态的传感器，经过柔性电路模块处理后实现简单的信息输出，能够通过手势运动实现特定信息的采集，并经由柔性电路模块将信号进行处理和识别，并通过无线通信模块将识别后的信息发送出去，被终端设备接收并通过画面或者音频形式显示。

b.优点：设备较为轻便，对正常工作生活影响较小。

c.缺点：学习手语的成本，相较于健全人在交流时可以使用手势动作作为辅助，更好地表达信息，手语的使用限制了用户在交流过程中的手势表达。另外，受限于手语在普通人群中的低普及率，手语的标准不统一，限制了交流对象。

(2)语音识别设备

a.科大讯飞、微软、百度等。

b.优点：能方便地实现正常人向聋哑人表达。

c.缺点：只能提高正常人向聋哑人表达时的效率，难以解决聋哑人与正常人沟通困难的问题，聋哑人仍需要使用打字、手语等方式来表达自己，限制了沟通效率。

(3)人工耳蜗

a.Cochlear、力声特、诺尔康。

b.优点：由体外言语处理器将声音转换为一定编码形式的电信号，通过植入体内的电极系统，直接兴奋听神经来恢复或重建聋人的听觉功能，能够与正常人沟通交流。

c.缺点：人工耳蜗的仪器需要定期的保养和清理，且使用寿命有限，需要通过手术的方式进行安装，风险高且花销庞大。而且植入人工耳蜗会引起一系列的并发症，比如皮下血肿，急性中耳炎等，给患者带来更多的痛苦。

(4)助听器

a.爱可声、爱思华。

b.优点：小型扩音器，把原本听不到的声音加以扩大，再利用听障者的残余听力，使声音能送到大脑听觉中枢，从而感受到声音。

c.缺点：用来提高听力的一种设备，如果使用者彻底丧失听力，则该产品无效，对使用群体存在限制；其次，扩大有效的声音的同时，噪音也会扩大，使用者会听到很多杂音噪音，无法在全场景下保证使用效果。

经调查，目前市面上存在的与唇语识别相关的系统主要分为纯粹唇语识别系统和唇语教学辅助系统两种。