[发明专利]一种基于STA-TSN的人类行为识别方法及系统

权利要求书

1.一种基于STA-TSN的人类行为识别方法，其特征在于，包括以下步骤：

将视频分为N段，从每一段中提取k帧；

根据多尺度空间焦点特征增强策略在原有特征的基础上融合空间焦点特征；

在TSN中建立关键帧探索模块探索在每一段视频中的关键帧；

增加正则项引导关键帧探索模块进行有目的性的探索关键帧；

使用空间金字塔池化SPP去探索多尺度空间焦点特征：

对于第n段第t帧图像，从CNN的最后一层卷积层中获得维度为H×H×C的特征图A_n,t，其中H×H为一个特征图中的像素个数，C为特征图的通道数；将A_n,t复制了三份，分别命名为

对于用来获得多尺度空间注意力权重α_n,t；

接着，通过求α_n,t和之间的内积来获得多尺度空间焦点特征

最后，将与原始特征的副本相加并通过一个GAP层来获得一个多尺度空间焦点特征增强的全局特征表示F_n,t：

在TSN中建立基于LSTM的关键帧探索模块：

利用LSTM提取的时间动态特征来探索关键帧，具体的，在第n段视频，首先用这一段中的所有采样帧的全局特征表示F_n,1,F_n,2,…,F_n,k作为LSTM的输入；然后，采用软注意力机制的形式将LSTM所有时间步的输出h_n,1,h_n,2,…,h_n,k通过一个被softmax激活的1×1大小的1-D卷积层来得到时间注意力权重β_n；

接着，利用获得的时间注意力权重融合第n段中所有采样帧的特征表示来作为该段最终的特征表示F_n；

接着，利用一个全连接层来获得所有类别的得分；同时，对于所有的段，LSTM，卷积层，全连接层都贡献参数；

最终，利用一个平均池化融合所有段的得分来作为视频的最终得分；

正则项为时间注意力正则化：

在训练时间注意力模块之前首先用一个双流结构来训练CNN；利用经过预训练的CNN中得到的卷积特征图来训练与类别个数相同的二分类器，这些二分类器用来判断从视频中抽取的某一帧是否属于这个视频对应的类别；如果被二分类器判为false，认为这一帧不是视频中的关键帧，对于被判定为false的帧，计算它对应的时间注意力权重β_n,m与0的均方误差l_MSE作为交叉熵损失函数l_CE的正则项。

2.根据权利要求1所述的一种基于STA-TSN的人类行为识别方法，其特征在于，获得多尺度空间注意力权重α_n,t具体的处理过程如下：首先，让A¹_n,t通过一个池化层分别为1×1、3×3、5×5和7×7的空间金字塔层来获得多尺度空间特征；然后，采用软注意力机制的形式，利用一个被softmax函数激活的1×1卷积层从多尺度空间特征中获取多尺度空间注意力权重α_n,t：

其中，W，b和分别为1×1卷积层的权重，偏置和输出；SPP(·)含义为SPP层的输出。

3.根据权利要求1所述的一种基于STA-TSN的人类行为识别方法，其特征在于，时间注意力权重β_n：

β_n＝{β_n,1,β_n,2,…,β_n,t,…,β_n,k}

其中，W，b和分别为1×1的1-D卷积层的权重，偏置和输出；β_n,t为第n段中第t帧对该段的贡献程度。