[发明专利]一种基于机器视觉的纠正发音的方法

权利要求书

1.一种基于机器视觉的纠正发音的方法，其特征在于，包括：

S1、实时同步采集用户发音音频和用户口型影像；

S2、检测用户发音音频中是否包含发音混淆字：若是，进行S3；若否，进行S4；

S3、分别从用户发音音频和用户口型影像提取包含发音混淆字对应时段的混淆音频片段和混淆影像片段，分别将预设的标准混淆音频和标准混淆影像与混淆音频片段和混淆影像片段进行对比，判断是否发音错误：若是，进行S5；若否，返回S1；

S4、分别将预设的标准发音音频和标准口型影像与用户发音音频和用户口型影像进行对比，判断是否发音错误：若是，进行S5；若否，返回S1；

S5、提示发音错误，并输出标准混淆音频或者标准发音音频。

2.如权利要求1所述的基于机器视觉的纠正发音的方法，其特征在于，S2中，检测用户发音音频中是否包含发音混淆字包括：将用户发音音频转化成发音数字信号，并对数字信号进行特征提取，得到发音特征的关键参数，根据关键参数判定是否包含发音混淆字。

3.如权利要求2所述的基于机器视觉的纠正发音的方法，其特征在于，S3中，从用户发音音频和用户口型影像提取包含发音混淆字对应时段的混淆音频片段和混淆影像片段之前，检测发音起始点和发音结束点，并剪切掉用户发音音频和用户口型影像中发音起始点之前的部分以及发音结束点之后的部分。

4.如权利要求1所述的基于机器视觉的纠正发音的方法，其特征在于，S5中，还包括根据标准混淆音频得到标准混淆波形图，或者根据标准发音音频得到标准发音波形图，并显示标准混淆波形图或者标准发音波形图。

5.如权利要求4所述的基于机器视觉的纠正发音的方法，其特征在于，S5中，还包括显示标准混淆影像或者标准口型影像，标准混淆影像与标准混淆波形图同步对比显示，或者标准口型影像与标准发音波形图同步对比显示。

6.如权利要求5所述的基于机器视觉的纠正发音的方法，其特征在于，S5中，还包括根据标准混淆音频或者标准发音音频给出纠正建议。

7.如权利要求1所述的基于机器视觉的纠正发音的方法，其特征在于，S3中，以音素为单位将标准混淆音频与混淆音频片段进行对比；S4中，以音素为单位将标准发音音频与用户发音音频进行对比。

8.如权利要求1所述的基于机器视觉的纠正发音的方法，其特征在于，S3中，以帧为单位将标准混淆影像与混淆影像片段进行对比；S4中，以帧为单位将标准口型影像与用户口型影像进行对比。

9.如权利要求1所述的基于机器视觉的纠正发音的方法，其特征在于，S3中，从用户发音音频和用户口型影像提取包含发音混淆字对应时段的混淆音频片段和混淆影像片段之前，对用户发音音频和用户口型影像进行降噪处理。