[发明专利]一种基于门的视频上下文多模态感知特征优化方法

说明书

一种基于门的视频上下文多模态感知特征优化方法，具体步骤为，步骤一：输入RGB视频序列和光流序列；步骤二：通过外观特征提取器和运动特征提取器提取得到双模态的基础特征；步骤三：输入双流特征优化结构；步骤四：通过连接的RGB特征优化记忆流和光流特征优化记忆流进行上下文和多模态的感知优化，得到对应的记忆流保留优化特征；步骤五：对RGB特征优化记忆流和光流特征优化记忆流保留特征进行串联，得到对应模态的优化特征；步骤六：对RGB特征优化特征和光流特征优化特征进行通道融合，形成视频级的特征表征。

技术领域

本发明涉及视频分析技术领域，具体涉及一种基于门的视频上下文多模态感知特征优化方法。

背景技术

现有计算机视觉等相关技术领域中，行为识别和视频行人重识别等领域采用的多模态融合方案，存在多模态信息利用不完全、特征并行而缺乏多模态全局的监督学习的问题。视频或者图像序列与单一图像的区别不止在于外观特征更加丰富且连续和以光流为代表的运动模态的丰富信息，还在于运动模态的关键信息可以有助于区分外观层面的关键特征以及外观信息的突出特征可以作为运动模态层面的启发信息，即模态之间交互学习的作用。时序上的交互学习得到的特征是真正所谓跨模态学习的产物，是融合多模态信息后视频级的全局特征，具有良好的表征效果。

现有的多模态融合模型主要有三种，如图1、图2和图3所示：通道融合、特征元素加法和特征合并，

通道融合是在利用深度卷积网络进行特征提取之间，将两种模态按照通道进行结合，形成一个统一的输入，并由单一的特征提取网络进行提取；特征元素加法是在深度卷积网络进行特征提取的过程中，将两种模态的特征按元素对应相加，形成统一的多模态融合特征；特征合并又可称为特征后融合，是使用两个独立的特征提取网络对两种模态的信息进行提取，最终进行特征融合。通道融合和特征元素加法的缺陷在于采用一个特征提取网络提取两种模态的信息，不能很好的对外观信息和运动信息分别进行表征，而特征合并虽然采用并行的双流网络进行特征提取，却忽略了双模态特征之间的交互学习效果。

发明内容

本发明针对现有技术的不足，提出采用一种独立的双特征提取网络分别对RGB序列和光流序列进行特征表征，同时建立时序上双流循环神经网络进行交互学习，即保留了视频序列的上下文连续性，又通过多模态感知促进外观信息和运动信息之间的协同作用，解决了现有技术方案的局限性的基于门的视频上下文多模态感知特征优化方法，具体技术方案如下：

一种基于门的视频上下文多模态感知特征优化方法，具体步骤为，步骤一：输入RGB视频序列和光流序列；

步骤二：通过外观特征提取器和运动特征提取器提取得到双模态的基础特征；

步骤三：输入双流特征优化结构；

步骤四：通过连接的RGB特征优化记忆流和光流特征优化记忆流进行上下文和多模态的感知优化，得到对应的记忆流保留优化特征；

步骤五：对RGB特征优化记忆流和光流特征优化记忆流保留特征进行串联，得到对应模态的优化特征；

步骤六：对RGB特征优化特征和光流特征优化特征进行通道融合，形成视频级的特征表征。

为更好的实现本发明：

作为优化，所述步骤四中RGB特征优化记忆流和光流特征优化记忆流进行上下文感知优化具体为，设置同模态时序上下文学习器，其输入为前一交互学习后的优化特征及当前模态当前帧的特征，其主要结构为1*1卷积层和通道注意力结构，用于学习联合前后帧的上下文信息后、该模态在这个时间节点保留的特征，这里运用通道注意力的深度卷积网络能够有效提取上下文特征，并以此学习与帧特征尺度一致的掩码矩阵作为参数，实现门的设计，保证了同模态信息的时序传递。