[发明专利]一种基于混合卷积神经网络的唇语识别方法

说明书

本发明提供一种基于混合卷积神经网络的唇语识别方法。本发明方法，包括如下步骤：对采集到的待识别视频进行预处理，获取每帧待识别视频的唇部图像序列；将预处理后的唇部图像序列作为输入，馈送入构建的混合卷积神经网络进行短期时空特征和长期时空特征提取；将所述长期时空特征输入连接时序分类器获得识别概率结果，对所述识别概率结果进行解码处理，获得唇语识别结果。本发明通过混合卷积神经网络同时学习唇部运动的空间和时间特征，同时通过两层Bi‑GRU网络将短期时空特征和长期时空特征结合起来，并使用连接时序分类训练网络，提高了唇语识别的速度与精确度。

技术领域

本发明涉及计算机视觉与模式识别技术领域，具体而言，尤其涉及一种基于混合卷积神经网络的唇语识别方法。

背景技术

唇语识别，是指通过观察说话者的口型变化，直接从讲话人唇动的连续图像中“读”出其讲话的内容，唇语识别技术源于听力弱者和听力障碍者学习、了解正常人语言表达的一种技巧。

唇语识别技术研究涉及多个领域，包括人工智能、模式识别、图像处理、自然语言处理等。随着自动语音识别、人机自然交互和计算机视觉技术的迅速发展，唇语识别技术不再仅仅是改善语音识别率的辅助手段，唇语识别作为新的人体生物特征、新的人机接口、新的反恐手段，在人们生活中发挥着越来越重要的作用。

最近，在计算机视觉应用领域，深度神经网络获得了广泛应用。在处理图像识别问题时，卷积神经网络往往用来提取图像的空间特征，而唇语这类信息则同时包含空间信息与时间信息，因此3D卷积神经网络被用来处理唇语识别中所需的空间特征和时间特征，然而由于自身的约束，导致它提取到的特征只包含有短期的时空特征，现有技术无法提取长期的时空特征，导致现有技术准确率不足。

发明内容

为了克服现有技术的不足，而提供一种基于混合卷积神经网络的唇语识别方法，解决目前传统唇语识别中存在的只提取空间特征或只提取长期时空特征等问题。

本发明采用的技术手段如下：

一种基于混合卷积神经网络的唇语识别方法，具有如下步骤：

S1、在接收到语音信号后，控制图像采集装置进行图像采集，在语音信号结束后，控制图像采集装置停止图像采集；

还包括：

S2、对采集到的待识别视频进行预处理，获取每帧待识别视频的唇部图像序列；

S3、将预处理后的唇部图像序列作为输入，馈送入构建的混合卷积神经网络进行短期时空特征和长期时空特征提取，所述混合卷积神经网络包括：用于提取视频的短期时空特征的3D卷积神经网络，用于将所述短期时空特征作为输入，提取深层次特征的2D卷积神经网络和用于将所述深层次特征作为输入，提取视频的长期时空特征的两层Bi-GRU网络；

S4、将所述长期时空特征输入连接时序分类器获得识别概率结果，对所述识别概率结果进行解码处理，获得唇语识别结果。

进一步地，所述步骤S2具体包括如下步骤：

S21、将待识别视频裁剪为预设长度，并调整为预设帧数；

S22、对每帧图片进行人脸检测，若检测到人脸图像，则对所述人脸图像进行关键点检测处理，进而获取唇部图像；

S23、将获取的各唇部图像组成为唇部图像序列。

进一步地，所述步骤S3中的3D卷积神经网络为三层，每层3D卷积层后均跟随批处理归一化层和ReLU层以及每层后跟随的只执行空间池化操作的池化层，其中，

第一层为3D卷积层，其卷积核尺寸为3*5*5，步幅为1*2*2，填充为1*2*2，卷积滤波器数量为32，

第二层为空间池化层，其内核大小为1*2*2，步幅为1*2*2，