[发明专利]一种基于机器视觉的纠正发音的方法

说明书

本发明涉及计算机软件技术领域，具体涉及一种基于机器视觉的纠正发音的方法，包括：S1、实时同步采集用户发音音频和用户口型影像；S2、检测用户发音音频中是否包含发音混淆字：若是，进行S3；若否，进行S4；S3、分别从用户发音音频和用户口型影像提取包含发音混淆字对应时段的混淆音频片段和混淆影像片段，分别将预设的标准混淆音频和标准混淆影像与混淆音频片段和混淆影像片段进行对比，判断是否发音错误；S4、分别将预设的标准发音音频和标准口型影像与用户发音音频和用户口型影像进行对比，判断是否发音错误；S5、提示发音错误，并输出标准混淆音频或者标准发音音频。本发明解决了无法纠正混淆发音的技术问题。

技术领域

本发明涉及计算机软件技术领域，具体涉及一种基于机器视觉的纠正发音的方法。

背景技术

通常情况下，学习各种语言都会朗读、跟读来提升自身的发音能力，多数情况下学习者无法得知自身发音是否准确。故而，市面上出现了多种自带发音测评功能或者发音纠正功能的语言学习软件。

现有的语言学习软件所得到的发音测评结果无法指正具体发音错误，导致发音测评结果缺乏针对性。对此，已有中国专利出公开相应的语言学习的纠正发音的装置，通过输出预设的标准发音音频和标准口型影像，并获取跟读时的用户发音和用户口型，实时输出用户发音和用户口型影像；将用户发音与标准发音音频进行比对，将用户口型影像与标准口型影像进行比对，从而评估用户发音的准确度，辅助用户调整自己的发音口型和发音音调，达到纠正用户错误发音的效果。但是，对于某些混淆发音来说，比如平舌音与翘舌音，标准发音音频与标准口型影响存在很大的相似之处，会使得无法准确地识别并纠正发音错误。

发明内容

本发明提供一种基于机器视觉的纠正发音的方法，解决了现有技术无法准确识别并纠正混淆发音的技术问题。

本发明提供的基础方案为：一种基于机器视觉的纠正发音的方法，包括：

S1、实时同步采集用户发音音频和用户口型影像；

S2、检测用户发音音频中是否包含发音混淆字：若是，进行S3；若否，进行S4；

S3、分别从用户发音音频和用户口型影像提取包含发音混淆字对应时段的混淆音频片段和混淆影像片段，分别将预设的标准混淆音频和标准混淆影像与混淆音频片段和混淆影像片段进行对比，判断是否发音错误：若是，进行S5；若否，返回S1；

S4、分别将预设的标准发音音频和标准口型影像与用户发音音频和用户口型影像进行对比，判断是否发音错误：若是，进行S5；若否，返回S1；

S5、提示发音错误，并输出标准混淆音频或者标准发音音频。

本发明的工作原理及优点在于：实时同步采集用户发音音频和用户口型影像，确保用户发音音频和用户口型影像在时间上是相互对应的；为了识别并纠正混淆发音，需要检测用户发音音频中是否包含发音混淆字，如果包含发音混淆字，就需要分别从用户发音音频和用户口型影像提取包含发音混淆字对应时段的混淆音频片段和混淆影像片段，并分别将标准混淆音频和标准混淆影像与混淆音频片段和混淆影像片段进行对比，判断是否发音错误。通过这样的方式，不仅能够对平常的发音进行纠正，还能够对混淆发音进行纠正，避免遗漏掉对混淆发音的纠正。

本发明既能对平常的发音进行纠正，又能对混淆发音进行纠正，避免遗漏掉对混淆发音的纠正，解决了现有技术无法准确识别并纠正混淆发音的技术问题。

进一步，S2中，检测用户发音音频中是否包含发音混淆字包括：将用户发音音频转化成发音数字信号，并对数字信号进行特征提取，得到发音特征的关键参数，根据关键参数判定是否包含发音混淆字。

有益效果在于：由于多数发音混淆字的发音特征具有相似之处，关键参数则可以对发音特征进行量化，故而可以精确地检测用户发音音频中是否包含发音混淆字。