[发明专利]一种基于多模态融合的动作识别方法及系统

说明书

本发明公开了一种基于多模态融合的动作识别方法及系统。该方法包括：从动作视频中提取视觉模态数据和听觉模态数据；对视觉模态数据和听觉模态数据进行预处理，得到视觉模态浅层Token序列和听觉模态浅层Token序列；将视觉模态浅层Token序列输入至视觉特征提取网络中，得到视觉模态深度Token序列；将听觉模态浅层Token序列输入至听觉特征提取网络中，得到听觉模态深度Token序列；将视觉模态深度Token序列和听觉模态深度Token序列合并，得到合并后的Token序列；将合并后的Token序列输入至特征融合网络，得到融合交互后的Token序列；将融合交互后的Token序列输入至全连接层，得到动作分类结果。本发明相比于现有的方法识别准确率更高，而且计算消耗更低。

技术领域

本发明涉及动作识别技术领域，特别是涉及一种基于多模态融合的动作识别方法及系统。

背景技术

动作识别是计算机视觉、多媒体领域研究的重点课题，其应用方向包括视频监控、机器人人机交互、视频检索、体育比赛分析等。目前主流的动作识别方法大都基于RGB视频，也就是只关注视觉信息，而缺乏对听觉信息的研究。实际上，听觉信息对于动作识别有着非常重要的意义，在人类生活中存在大量动作可以通过声音来判断，比如吹口哨、弹奏乐器，并且有些动作仅通过视觉很难分辨，比如“唱歌”和“演讲”。对于这些动作，我们可以使用音频信息进行补充，以获得更高的识别准确率。多模态融合的目标在于充分利用我们身边一切可利用的信息，从而提高模型对外界环境的感知能力，以至于最终接近人类甚至超越人类。

目前基于多模态融合的动作识别方法主要以Transformer作为骨干网络，融合方式主要有三种：早期融合、中期融合和晚期融合。晚期融合最为简单，只需要对独立的音频和视频网络分类得分求取平均值，就可以得到最终的分类结果。早期融合和中期融合都利用了Transformer网络可以处理不同长度序列的特性，无视音视频输入的形式差异问题，在输入Transformer网络之前或是在网络的中间层将音视频模态的特征向量进行连接，从而使得整个模型具备了同时感受听觉和视觉信息的能力。其中，中期融合相比于早期融合，模型的识别准确率更高同时计算复杂度更小。但是，中期融合模型依然存在两个缺点：(1)在跨模态交互之前，模型对视频和音频输入进行了大量不必要的时间建模。(2)对于跨模态建模，没有考虑到每个模态都存在的大量冗余信息，而将两个模态的特征直接连接。这两个缺点使得模型的计算复杂度剧增，这不利于动作识别方法在移动端或其他低资源消耗的设备上部署。

发明内容

针对现有技术中存在的问题，本发明提供了一种基于多模态融合的动作识别方法及系统。

为实现上述目的，本发明提供了如下方案：

一种基于多模态融合的动作识别方法，包括：

从动作视频中提取视觉模态数据和听觉模态数据；

对所述视觉模态数据和所述听觉模态数据进行预处理，得到视觉模态浅层Token序列和听觉模态浅层Token序列；

将所述视觉模态浅层Token序列输入至视觉特征提取网络中，得到视觉模态深度Token序列；

将所述听觉模态浅层Token序列输入至听觉特征提取网络中，得到听觉模态深度Token序列；

将所述视觉模态深度Token序列和所述听觉模态深度Token序列合并，得到合并后的Token序列；

将所述合并后的Token序列输入至特征融合网络，得到融合交互后的Token序列；

将所述融合交互后的Token序列输入至全连接层，得到动作分类结果。

可选地，从动作视频中提取视觉模态数据和听觉模态数据，具体包括：

将所述动作视频划分为多个部分；

从每个部分中随机提取1帧RGB图像，得到视觉模态数据；