[发明专利]一种基于跨模态注意力机制的视听事件定位方法及装置

权利要求书

1.一种基于跨模态注意力机制的视听事件定位方法，用于对目标音视频中的事件进行识别与定位，其特征在于，包括如下步骤：

步骤S1-1，利用预定的预处理方法对所述目标音视频进行预处理得到图像特征以及音频特征；

步骤S1-2，基于所述图像特征以及所述音频特征利用预先训练好的基于跨模态注意力机制的神经网络模型进行识别与定位，从而得出所述目标音视频中每一个时刻的事件类别，

其中，所述神经网络模型包括跨模态注意力机制模块、单模态自注意力机制模块、循环神经网络模块以及分类模块，

所述跨模态注意力机制模块利用多头注意力机制针对所述图像特征融合所述音频特征得到视觉双模态特征，并通过残差结构将所述视觉双模态特征与所述图像特征相加得到视觉跨模态特征，

所述跨模态注意力机制模块利用多头注意力机制针对所述音频特征融合所述图像特征得到听觉双模态特征，并通过残差结构将所述听觉双模态特征与所述音频特征相加得到听觉跨模态特征，

所述单模态自注意力机制模块分别对所述视觉跨模态特征以及所述听觉跨模态特征进行单模态片段间关系捕捉，得到对应的视觉自注意力特征以及听觉自注意力特征，所述单模态自注意力机制模块的QKV矩阵全部来自于当前模态，从而能够捕捉单模态内的长距离依赖关系，

所述循环神经网络模块分别对所述视觉自注意力特征以及所述听觉自注意力特征进行长距离依赖关系捕捉，得到对应的视觉特征以及听觉特征，

所述分类模块包括全连接层以及Softmax函数，该分类模块基于所述视觉特征以及所述听觉特征进行分类，从而得出所述目标音视频中每一个时刻的事件类别。

2.根据权利要求1所述的基于跨模态注意力机制的视听事件定位方法，其特征在于：

其中，在所述单模态自注意力机制模块分别对所述视觉跨模态特征以及所述听觉跨模态特征进行单模态片段间关系捕捉处理前，利用层归一化操作分别对所述视觉跨模态特征以及所述听觉跨模态特征进行归一化处理。

3.根据权利要求1所述的基于跨模态注意力机制的视听事件定位方法，其特征在于：

其中，所述预处理方法包括如下步骤：

步骤S2-1，分别对所述目标音视频中的视频以及音频进行处理，得到对应的图像序列以及音频序列；

步骤S2-2，利用预先训练好的图像特征提取模型从所述图像序列中提取到所述图像特征，利用预先训练好的音频特征提取模型从所述音频序列中提取得到所述音频特征，

所述步骤S2-1包括如下子步骤：

步骤S2-1-1，将所述视频按照预定的时间间隔分割，得到多个视频片段，从每个所述视频片段中抽取预定数量的图像帧，从而构成所述图像序列，

步骤S2-1-2，利用梅尔频谱处理所述音频，从而得到所述音频序列。

4.根据权利要求3所述的基于跨模态注意力机制的视听事件定位方法，其特征在于：

其中，所述图像特征提取模型为VGG-19模型，所述音频特征提取模型为VGGish模型。

5.根据权利要求1所述的基于跨模态注意力机制的视听事件定位方法，其特征在于：

其中，所述循环神经网络模块为LSTM模块。

6.一种基于跨模态注意力机制的视听事件定位装置，用于对目标音视频中的事件进行识别与定位，其特征在于，包括如下步骤：

预处理部，利用预定的预处理方法对所述目标音视频进行预处理得到图像特征以及音频特征；

识别定位部，基于所述图像特征以及所述音频特征利用预先训练好的基于跨模态注意力机制的神经网络模型进行识别与定位，从而得出所述目标音视频中每一个时刻的事件类别，

其中，所述神经网络模型包括跨模态注意力机制模块、单模态自注意力机制模块、循环神经网络模块以及分类模块，

所述跨模态注意力机制模块利用多头注意力机制针对所述图像特征融合所述音频特征得到视觉双模态特征，并通过残差结构将所述视觉双模态特征与所述图像特征相加得到视觉跨模态特征，

所述跨模态注意力机制模块利用多头注意力机制针对所述音频特征融合所述图像特征得到听觉双模态特征，并通过残差结构将所述听觉双模态特征与所述音频特征相加得到听觉跨模态特征，

所述单模态自注意力机制模块分别对所述视觉跨模态特征以及所述听觉跨模态特征进行单模态片段间关系捕捉，得到对应的视觉自注意力特征以及听觉自注意力特征，所述单模态自注意力机制模块的QKV矩阵全部来自于当前模态，从而能够捕捉单模态内的长距离依赖关系，

所述循环神经网络模块分别对所述视觉自注意力特征以及所述听觉自注意力特征进行长距离依赖关系捕捉，得到对应的视觉特征以及听觉特征，

所述分类模块包括全连接层以及Softmax函数，该分类模块基于所述视觉特征以及所述听觉特征进行分类，从而得出所述目标音视频中每一个时刻的事件类别。