[发明专利]一种语音纠正融合方法

说明书

本发明的一种语音纠正融合方法，同时采集发音者的声音数据和视频数据，对视频数据中采集的嘴型进行标点预处理，用字母标注嘴唇内部的六个点位，对预处理之后的图像进行测量并通过六个点位的位置计算嘴唇变化角度，将声音数据与音频数据库进行对比得到语音识别结果，嘴唇变化角度与嘴型数据库进行对比得到唇语识别结果；当语音识别结果和唇语识别结果匹配程度相同，则优先选择语音识别结果；当语音识别结果和唇语识别结果匹配程度不同，则优先选择唇语识别结果。在语音识别的基础上，加入了唇语识别，可以有效的去除口音对语音识别的影响，采用图像识别中的唇语识别来消除声音的影响，通过嘴唇来识别发音者所讲的话，更加准确。

技术领域

本发明属于语音识别技术领域，具体来说是一种语音纠正融合方法。

背景技术

语音识别技术随着计算机和相关软硬件技术的发展，已越来越多的应用在各个领域，其识别率也在不断的提高。在环境安静、发音标准等特定条件下，目前应用在语音识别输入文字系统的识别率已经达到95％以上。但如果在车上或外界噪声干扰比较大、发音不标准的情况下，其识别率将大打折扣，以至于无法达到实用目的。若能采用其它方法来辅助判断以提高其语音识别的准确率，那么语音识别的实用性将显著提高。

人类的语言认知过程是一个多通道的感知过程。在人与人日常交流的过程中，通过声音来感知他人讲话的内容，在喧闹的环境或对方发音模糊不清时，还需要眼睛观察其口型，表情等的变化，才能准确地理解对方所讲的内容。现行的语音识别系统忽略了语言感知的视觉特性这一面，仅仅利用了单一的听觉特性，使得现有的语音识别系统在噪声环境或多话者条件下，其识别率都显著下降，降低了语音识别的实用性，应用范围也受限制。

发明内容

1.发明要解决的技术问题

本发明的目的在于解决现有的语音识别技术识别不准确的问题。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种语音纠正融合方法，同时采集发音者的声音数据和视频数据，对视频数据中采集的嘴型进行标点预处理，用字母标注嘴唇内部的六个点位，对预处理之后的图像进行测量并通过六个点位的位置计算嘴唇变化角度，将声音数据与音频数据库进行对比得到语音识别结果，嘴唇变化角度与嘴型数据库进行对比得到唇语识别结果；当语音识别结果和唇语识别结果匹配程度相同，则优先选择语音识别结果；当语音识别结果和唇语识别结果匹配程度不同，则优先选择唇语识别结果。

优选的，所述六个点位分别为嘴唇内侧两边嘴角处为A、F点，上嘴唇的处为B、G点，下嘴唇的处为C、H点。

优选的，还选取点B、点G的连线中点为D、选取点C、点H连线中点为E，测量角∠CAF和角∠BAF的大小、线段AF的长度和线段DE的长度。

优选的，计算评价函数判断语音，具体评价函数为

Pre＝k*(p*Angle(a,b)+q*Line(LAF,LDE))；

其中，k、p、q为各代价函数的权重系数，p、q为0.5，k的取值为不同地理区域的发音系数的数值，Angle(a,b)为嘴唇夹角的代价子函数，Line(LAF,LDE)为嘴唇张开程度的代价子函数。

优选的，在采集发音者的画面时，发音者的脸部需正对摄像头，摄像头先拍摄人脸并识别后开始拍摄发音者嘴唇位置。

优选的，在进行语音识别的过程中，需要在存储数据库中设置两个临时存储区域，用于存储音频信息和视频信息，两个临时存储区域主要存储音频流以及时间戳，在30秒内无明显音频输入则对两块区域进行保存再清空、或直接清空。