[发明专利]一种基于神经网络的唇语识别方法及系统

说明书

本发明公开了一种基于神经网络的唇语识别方法及系统。其中，所述方法包括：获取到唇部序列图像，进而从该获取到的唇部序列图像，提取出唇部序列图像的特征，进而将该提取出的唇部序列图像的特征输入到双向长短时记忆网络进行时间空间特征序列学习，并将该经学习后的唇部序列图像的特征进行训练，训练该经学习后的唇部序列图像的特征到唇语的识别模型，进而根据该训练该经学习后的唇部序列图像的特征到唇语的识别模型，对该提取出的唇部序列图像的特征进行解码识别，识别出唇语结果。通过上述方式，能够实现不受环境噪声干扰影响，对视频进行识别，识别出唇语结果，该识别出的唇语结果的准确率较高，用户体验较佳。

技术领域

本发明涉及唇语识别技术领域，尤其涉及一种基于神经网络的唇语识别方法及系统。

背景技术

随着人工智能技术的发展，复杂场景下音视觉混合的输入，单纯拼写的文字输入已是一种过去式，语音识别的比重逐渐提高，正在成为当下主流的自然交互方式。但是，单纯的语音交互易受环境影响，容易出现噪声干扰，比如说充满噪音的户外马路、在会议室里有他人说话的人声争执、车载场景下的发动机或空调噪声等等，都会大大减少语音识别的准确率，用户体验出现鲜明落差。

为了改善语音识别不准确的问题，出现了唇语识别技术。唇语识别技术是指通过对获取到的说话人的唇部动作等信息进行分析，识别出说话人所表达内容的方案。传统的唇语识别方案大多都包含嘴部检测、嘴部分割、嘴部归一化、特征提取和唇语分类器的构建，但是，传统的唇语识别方案的表现差强人意，唇语解读的准确率也就只有20％-60％，唇语识别结果的准确率低。

发明内容

有鉴于此，本发明的目的在于提出一种基于神经网络的唇语识别方法及系统，能够实现不受环境噪声干扰影响，对视频进行识别，识别出唇语结果，该识别出的唇语结果的准确率较高，用户体验较佳。

根据本发明的一个方面，提供一种基于神经网络的唇语识别方法，包括：

获取到唇部序列图像；

从所述获取到的唇部序列图像，提取出唇部序列图像的特征；

将所述提取出的唇部序列图像的特征输入到双向长短时记忆网络进行时间空间特征序列学习，并将所述经学习后的唇部序列图像的特征进行训练，训练所述经学习后的唇部序列图像的特征到唇语的识别模型；

根据所述训练所述经学习后的唇部序列图像的特征到唇语的识别模型，对所述提取出的唇部序列图像的特征进行解码识别，识别出唇语结果。

其中，所述获取到唇部序列图像，包括：

利用人脸检测和关键点检测方式，从图像序列中定位人脸，并检测人脸关键点，通过人脸关键点对唇部区域进行定位，获取到唇部序列图像；其中，人脸关键点包括能够表征人脸面部关键信息特征的位置。

其中，所述利用人脸检测和关键点检测方式，从图像序列中定位人脸，并检测人脸关键点，通过人脸关键点对唇部区域进行定位，获取到唇部序列图像，包括：

对初始的视频，利用人脸检测和关键点检测方式，从所述视频的图像序列中定位人脸，并检测人脸关键点，通过人脸关键点中的两嘴角关键点对唇部区域进行定位，并根据所述对唇部区域进行的定位和所述人脸关键点中的两嘴角关键点，计算出相对于标准嘴的平移和旋转因子，以及根据所述计算出的相对于标准嘴的平移和旋转因子，以两嘴角关键点的均值中心为图像中心分割得到所述唇部序列图像，获取到所述唇部序列图像。

其中，所述从所述获取到的唇部序列图像，提取出唇部序列图像的特征，包括：

对深度神经网络进行训练，应用所述经训练后的深度神经网络，按所述获取到的唇部序列图像的时间顺序，对所述获取到的唇部序列图像进行特征提取和特征拼接，从所述获取到的唇部序列图像，提取出唇部序列图像的特征。

其中，所述对深度神经网络进行训练，包括：