[发明专利]一种基于多注意力机制的唇语识别方法、设备及存储介质

说明书

本发明公开了一种基于多注意力机制的唇语识别方法、设备及存储介质，唇语识别方法包括：对视频数据集进行预处理，得到连续的人物嘴部灰度图像，同时进行数据增强处理；通过时域卷积神经网络对连续的唇部图像进行初步的特征提取，然后通过基于频域注意力机制的残差卷积神经网络进行深层特征提取；通过卷积增强Transformer编码器对提取的特征进行编码；对特征进行混合CTC/Attention解码；通过所构建的模型及混合CTC/Attention的损失函数，进行训练；通过基于RNN的语言模型进一步改善模型的输出结果。本发明提升了唇语识别准确率，同时提升了唇语识别的速度。

技术领域

本发明属于图像识别技术领域，涉及一种基于多注意力机制的唇语识别方法、设备及存储介质。

背景技术

唇语识别是一种根据嘴唇区域的连续变化，识别其所说内容的一项技术。在多个领域都有极其重要的影响，例如：在可以改善在嘈杂环境下的音频语音识别、帮助后天聋哑人也正常人的沟通和无声监控的声音填补等。

在唇语识别中，以往传统机器学习的模型效果很差，随着深度学习的不断发展，最早研究人员设计了一种应用3D卷积的模型，加入了更深的网络ResNet残差神经网络)和可以捕捉时间序列特性LSTM(长短时记忆神经网络)进行唇语识别，虽然效果相比传统机器学习有了很大的提升，但是效果依然很难让人满意。

之后，研究人员设计了一种时域卷积网络(Temporal Convolutional Network，简称TCN)进行预测，同时使用合适的训练策略对其进行了改进，即用并设计了密集连接的时间卷积网络(Densely-Connected Temporal Convolutional Networks，简称DC-TCN)进行预测，使得唇语识别的效果进一步提升。

当前研究人员增加了一个多头注意力机制来提高唇语识别对同音异义词的识别效果，并且设计了基于视觉Transformer池化(Visual Transformer Pooling，简称VTP)结构的编码器，这使得唇语识别的准确性达到了一个新的水平。但是该技术的模型参数量较大，不适用实时唇语识别的场景。

发明内容

为了解决上述问题，本发明提供一种基于多注意力机制的唇语识别方法，提升了唇语识别准确率，同时提升了唇语识别的速度，解决了现有技术中存在的问题。

本发明的第二目的是，提供一种电子设备。

本发明的第三目的是，提供一种计算机存储介质。

本发明所采用的技术方案是，一种基于多注意力机制的唇语识别方法，包括以下步骤：

步骤1，对视频数据集进行预处理，得到连续的人物嘴部灰度图像，同时进行数据增强处理；

步骤2，通过时域卷积神经网络对连续的唇部图像进行初步的特征提取，然后通过基于频域注意力机制的残差卷积神经网络进行深层特征提取；

步骤3，通过卷积增强Transformer编码器对提取的特征进行编码；

步骤4，对特征进行混合CTC/Attention解码；

步骤5，对步骤1得到的数据按照比例划分出训练集，通过步骤2-4所构建的模型，及混合CTC/Attention的损失函数，对训练数据进行训练；

步骤6，通过基于RNN的语言模型进一步改善模型的输出结果。

进一步的，所述步骤1包括：

步骤1-1，分离视频数据集中每一帧的图像数据，得到视频所对应的连续图像数据；

步骤1-2，将连续图像数据进行灰度化处理，消除嘴唇颜色带来的影响，通过人脸识别库进行人脸检测，标记面部关键点，根据唇部关键点的坐标，得到唇部中心点坐标，以中心点为原点，切出包括全部嘴唇、部分下颚和部分环境的唇部图像；