[发明专利]一种基于多模态融合的动作识别方法及系统

权利要求书

1.一种基于多模态融合的动作识别方法，其特征在于，包括：

从动作视频中提取视觉模态数据和听觉模态数据；

对所述视觉模态数据和所述听觉模态数据进行预处理，得到视觉模态浅层Token序列和听觉模态浅层Token序列；

将所述视觉模态浅层Token序列输入至视觉特征提取网络中，得到视觉模态深度Token序列；

将所述听觉模态浅层Token序列输入至听觉特征提取网络中，得到听觉模态深度Token序列；

将所述视觉模态深度Token序列和所述听觉模态深度Token序列合并，得到合并后的Token序列；

将所述合并后的Token序列输入至特征融合网络，得到融合交互后的Token序列；

将所述融合交互后的Token序列输入至全连接层，得到动作分类结果。

2.根据权利要求1所述的基于多模态融合的动作识别方法，其特征在于，从动作视频中提取视觉模态数据和听觉模态数据，具体包括：

将所述动作视频划分为多个部分；

从每个部分中随机提取1帧RGB图像，得到视觉模态数据；

从每个部分中提取设定长度的音频；

从所述音频中提取设定频率维度的频谱图，得到听觉模态数据。

3.根据权利要求1所述的基于多模态融合的动作识别方法，其特征在于，对所述视觉模态数据和所述听觉模态数据进行预处理，具体包括：

将所述视觉模态数据和所述听觉模态数据均划分为多个图像块，得到视觉模态图像块和听觉模态图像块；

将每个视觉模态图像块和每个听觉模态图像块拉平成为一维向量，得到视觉模态Token和听觉模态Token；

对所述视觉模态Token和所述听觉模态Token进行一次线性变化，得到视觉模态初始Token序列和听觉模态初始Token序列；

将可学习的变量作为位置信息分别添加到所述视觉模态初始Token序列和所述听觉模态初始Token序列中，得到视觉模态浅层Token序列和听觉模态浅层Token序列。

4.根据权利要求1所述的基于多模态融合的动作识别方法，其特征在于，在将所述视觉模态浅层Token序列输入至视觉特征提取网络中，以及将所述听觉模态浅层Token序列输入至听觉特征提取网络中之前，还包括；

分别在所述视觉模态浅层Token序列以及所述听觉模态浅层Token序列前设置一个分类向量，并将所述分类向量进行移动。

5.根据权利要求4所述的基于多模态融合的动作识别方法，其特征在于，将所述合并后的Token序列输入至特征融合网络，得到融合交互后的Token序列，具体包括：

将所述视觉模态深度Token序列中的分类向量进行合并以及将所述视觉模态深度Token序列中分类向量以外的部分进行合并，得到合并后的视觉模态深度Token序列；

将所述听觉模态深度Token序列中的分类向量进行合并以及将所述听觉模态深度Token序列中分类向量以外的部分进行合并，得到合并后的听觉模态深度Token序列；

将所述合并后的视觉模态深度Token序列以及所述合并后的听觉模态深度Token序列，进行合并得到合并后的Token序列。

6.根据权利要求1所述的基于多模态融合的动作识别方法，其特征在于，所述特征融合网络中包括Token选择模块。