[发明专利]唇语识别系统及方法

说明书

本发明实施例公开了一种唇语识别系统及方法，属于识别技术领域。其中唇语识别系统包括：唇语训练模型建立模块、实时唇语采集模块、唇语预测模块以及唤醒模块，唇语训练模型建立模块用于根据大量唇语图像和对应的唤醒词进行学习，以预先建立唇语训练模型；实时唇语采集模块用于实时采集用户的唇部视频图像，并将采集的唇部视频图像提供给唇语预测模块；唇语预测模块用于对唇部视频图像进行自动分析，提取唇部图像特征值，根据唇语训练模型和唇部图像特征值得到预测结果，将预测结果提供给唤醒模块；唤醒模块用于根据唇语预测模块提供的预测结果生成控制指令，以控制相应的车载系统。本发明能够提高对用户唇语控制指令的识别效率。

技术领域

本发明涉及识别技术领域，特别涉及一种唇语识别系统及方法。

背景技术

随着自动化工业的日益发展，车辆数目越来越多，已经成为人们日常出行不可或缺的重要交通工具。目前的车载系统通常都有语音交互功能，可以通过用户语音直接唤醒相关车载系统进行交互，例如语音控制开启车内空调系统，语音控制打开车内天窗等系统。但是在一些声音噪杂的环境下，例如汽车高速行驶时产生的噪音环境或者乘客在车内谈话的环境，另外在驾驶员说话声音极小的情况下，都会影响车载系统对语音的识别率，导致相应车载系统的唤醒率会比较低，还容易出现误唤醒的现象，这严重影响了用户的交互体验。因此，极其需要车载系统能够在周围环境复杂的情况下仍然能够准确识别驾驶员的语音控制指令，以对车载系统进行有效的控制。

现有技术中，在声音较难识别的环境中，车载系统通常采用的方法就是识别驾驶人员说话时的唇形，以推测出驾驶人员的语音控制指令，但是现有技术的唇语识别效率较低，还不能满足人们的需求。

因此，为了解决上述问题，人们急需探索出一种更好的唇语识别系统及方法，以更优地服务于我们的日常生活，提高对用户唇语控制指令的识别效率。

发明内容

本发明提供一种唇语识别系统及方法，能够提高对用户唇语控制指令的识别效率。

所述技术方案如下：

本发明实施例提供了一种唇语识别系统，其包括：唇语训练模型建立模块、实时唇语采集模块、唇语预测模块以及唤醒模块，其中，所述唇语训练模型建立模块，与所述唇语预测模块相连，用于根据大量唇语图像和对应的唤醒词进行学习，以预先建立唇语训练模型，并将预先建立的唇语训练模型提供给所述唇语预测模块；所述实时唇语采集模块，与所述唇语预测模块相连，用于实时采集用户的唇部视频图像，并将采集的唇部视频图像提供给所述唇语预测模块；所述唇语预测模块，与所述唤醒模块相连，用于对唇部视频图像进行自动分析，提取唇部图像特征值，根据唇语训练模型和唇部图像特征值得到预测结果，将预测结果提供给所述唤醒模块；所述唤醒模块，用于根据所述唇语预测模块提供的预测结果生成控制指令，以控制相应的车载系统。

在本发明较佳的实施例中，所述唇语训练模型建立模块还用于采集不同年龄段、不同性别的人群对相同唤醒词进行语音训练的唇部图像，并根据采集的唇部图像采用循环神经网络算法得到唇语训练模型。

在本发明较佳的实施例中，所述唇语训练模型包括唇部图像特征值和对应的唤醒词，所述唇部图像特征值包括唇部形状。

在本发明较佳的实施例中，所述实时唇语采集模块为设置于车内上方的摄像头。

在本发明较佳的实施例中，所述唇语识别系统还包括语音识别模块，所述实时唇语采集模块还用于将采集的唇部视频图像提供给所述语音识别模块，所述语音识别模块用于对唇部视频图像进行语音识别，以得到语音识别结果后提供给所述唤醒模块，所述唤醒模块还用于根据所述唇语预测模块提供的预测结果和所述语音识别模块提供的语音识别结果生成控制指令，以控制相应的车载系统。

在本发明较佳的实施例中，所述唤醒模块还用于根据预测结果和语音识别结果在不同环境条件下训练出环境权重，并根据所述环境权重、预测结果和语音识别结果生成控制指令，以控制相应的车载系统。