[发明专利]一种基于混合卷积神经网络的唇语识别方法

权利要求书

1.一种基于混合卷积神经网络的唇语识别方法，其特征在于，包括：

S2、对采集到的待识别视频进行预处理，获取每帧待识别视频的唇部图像序列；

S3、将预处理后的唇部图像序列作为输入，馈送入构建的混合卷积神经网络进行短期时空特征和长期时空特征提取，所述混合卷积神经网络包括：用于提取视频的短期时空特征的3D卷积神经网络，用于将所述短期时空特征作为输入，提取深层次特征的2D卷积神经网络和用于将所述深层次特征作为输入，提取视频的长期时空特征的两层Bi-GRU网络；

S4、将所述长期时空特征输入连接时序分类器获得识别概率结果，对所述识别概率结果进行解码处理，获得唇语识别结果。

2.根据权利要求1所述的基于混合卷积神经网络的唇语识别方法，其特征在于，所述步骤S2前，还包括如下步骤：S1、在接收到语音信号后，控制图像采集装置进行图像采集，在语音信号结束后，控制图像采集装置停止图像采集。

3.根据权利要求1所述的基于混合卷积神经网络的唇语识别方法，其特征在于，所述步骤S2具体包括如下步骤：

S21、将待识别视频裁剪为预设长度，并调整为预设帧数；

S22、对每帧图片进行人脸检测，若检测到人脸图像，则对所述人脸图像进行关键点检测处理，进而获取唇部图像；

S23、将获取的各唇部图像组成为唇部图像序列。

4.根据权利要求1所述的基于混合卷积神经网络的唇语识别方法，其特征在于，所述步骤S3中的3D卷积神经网络为三层，每层3D卷积层后均跟随批处理归一化层和ReLU层以及每层后跟随的只执行空间池化操作的池化层，其中，

第一层为3D卷积层，其卷积核尺寸为3*5*5，步幅为1*2*2，填充为1*2*2，卷积滤波器数量为32，

第二层为空间池化层，其内核大小为1*2*2，步幅为1*2*2，

第三层为3D卷积层，其卷积核尺寸为3*5*5，步幅为1*2*2，填充为1*2*2，卷积滤波器数量为64，

第四层为空间池化层，其内核大小为1*2*2，步幅为1*2*2，

第五层为3D卷积层，其卷积核尺寸为3*3*3，步幅为1*2*2，填充为1*1*1，卷积滤波器数量为96，

第六层为空间池化层，其内核大小为1*2*2，步幅为1*2*2。

5.根据权利要求1或4所述的基于混合卷积神经网络的唇语识别方法，其特征在于，所述步骤S3中的2D卷积神经网络为两层，其中，

第七层为2D卷积层，使用1*2*2的卷积核进行空间卷积操作，步幅为1*1*1，填充为1*1*1，

第八层为2D卷积层，使用1*3*3的卷积核进行空间卷积操作，步幅为1*1*1，填充为1*1*1。

6.根据权利要求1所述的基于混合卷积神经网络的唇语识别方法，其特征在于，所述步骤S3中的Bi-GRU网络具体为正向GRU和反向GRU，每层GRU网络各有256个滤波器，GRU每个时间步的输出通过全连接层、Softmax处理，得到长期时空特征。

7.根据权利要求1或6所述的基于混合卷积神经网络的唇语识别方法，其特征在于，所述GRU网络模型具体计算方式为：

z_t＝σ(W_hzh_t-1+W_xzx_t+b_z)

r_t＝σ(W_hrh_t-1+W_xrx_t+b_r)

其中，z_t、r_t和h_t分别为t时刻更新门、复位门和记忆模块的输出；x_t为t时刻记忆模块的输入向量；h_t-1为t-1时刻记忆模块的输出向量；W_xz、W_xr和W_xh分别为模块输入与更新门、复位门和间的权重矩阵；W_hz和W_hr分别为t-1时刻记忆模块的输出入更新门、复位门间的权重矩阵；b_z、b_r和b_h分别为更新门、复位门和的偏置；σ(·)表示逻辑sigmoid函数，其为门单元的激活函数；·表示矩阵元素相乘。