[发明专利]一种基于跨模态注意力增强的唇语识别方法及系统

说明书

本发明公开了一种基于跨模态注意力增强的唇语识别方法及系统，本发明包括提取唇部图像序列和唇部运动信息，通过预训练特征提取器获取对应的唇部特征序列和唇部运动序列，将得到的特征序列输入跨模态注意力网络，得到唇部增强特征序列；通过多分支注意力机制建立模态内特征序列的时序关联性，并在输出端特定的选择输入中相关的信息。本发明通过考虑时序信息之间的关联性，将相邻帧之间进行光流计算得到视觉特征之间的运动信息，利用运动信息对唇部视觉特征进行表示并进行融合增强，充分利用了模态内的上下文信息，最后通过多分支注意力机制进行模态内特征的关联表示和选择，提升了唇读识别的准确率。

技术领域

本发明涉及计算机视觉和模式识别技术，具体涉及一种基于跨模态注意力增强的唇语识别方法及系统。

背景技术

唇语识别是指通过捕捉说话人唇部的运动信息来理解说话人所说内容，具有大量有用的语音信息。在实际人机自然交互应用环境中，面部运动信息通过视频获取，不受复杂环境噪声影响，因此唇语识别可作为在没有任何音频输入和高噪声环境下说话者内容识别的有效解决方案之一。唇读系统具有多种有价值的应用，该系统的实现可以辅助语音识别和解决多说话者同时说话，实现更加智能、鲁棒的人机交互；也可用于军事公安、生物特征识别、安全验证等领域。因此，唇语识别的研究吸引越来越多研究者的注意。

但是，唇语识别存在许多亟待解决和突破的难题，主要包括：第一，同形异音的造成的视觉歧义。不同发音具有相似甚至相同的视觉特性，例如P、B、M具有相同的视觉信息，但发音形同。第二，讲话者依赖。说话人的性别、不同发音习惯和不同的文化都会造成唇部区域图像特征差异。第三，复杂的成像条件和讲话者的姿态变化会导致图像上唇部区域的明显变化，会对视觉特征提取产生影响。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于跨模态注意力增强的唇语识别方法及系统，本发明通过考虑时序信息之间的关联性，通过将相邻帧之间进行光流计算得到视觉特征之间的运动信息，然后利用运动信息对唇部视觉特征进行表示并进行融合增强，充分利用了模态内的上下文信息，最后通过多分支注意力机制进行模态内特征的关联表示和选择，提升了唇读识别的准确率。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于跨模态注意力增强的唇语识别方法，包括：

1）根据包含说话者人脸关键点的输入图像提取唇部区域图像序列Va，并根据唇部区域图像序列Va提取光流图序列Vo；将唇部区域图像序列Va、光流图序列Vo分别输入预先训练好特征提取器，得到唇部特征序列Hv、唇部间运动特征序列Ho；将唇部特征序列Hv、唇部间运动特征序列Ho分别进行位置编码，得到引入位置信息的唇部特征序列Hvp和唇部间运动特征序列Hop两者构成的引入位置信息的特征序列X∈{Hvp,Hop}；

2）将得到的引入位置信息的特征序列X∈{Hvp,Hop}输入跨模态注意力模块得到具有上下文信息的唇部特征Hup，并融合唇部特征序列Hv得到增强的唇部特征序列Henh；

3）基于多分支注意力机制对增强的唇部特征序列Henh进行模态内的关联表示，得到增强的唇部特征序列Henh的关联表示Henc；