[发明专利]一种基于STA-TSN的人类行为识别方法及系统

说明书

一种基于STA‑TSN的人类行为识别方法及系统，包括以下步骤：将视频分为N段，从每一段中提取k帧；根据多尺度空间焦点特征增强策略在原有特征的基础上融合空间焦点特征；在TSN中建立关键帧探索模块探索在每一段视频中的关键帧；增加正则项引导关键帧探索模块进行有目的性的探索关键帧。本发明不仅具备了捕捉视频中长期信息的能力，同时还引入了注意力机制，使模型具有了空间和时间上聚焦的能力，极大地提高了行为识别的精度。

技术领域

本发明属于视频识别技术领域，特别涉及一种基于STA-TSN的人类行为识别方法及系统。

背景技术

随着多媒体的发展和移动设备的普及，视频逐渐成为了最为广泛的传播媒介之一。这种趋势也推动了计算机视觉领域对视频理解技术的发展。人类行为识别就是在这一领域的重要分支。人类行为识别任务是给一个视频片段分类，类别通常为各类人的动作。这项技术被广泛应用在视频检索、人机交互、安防监控等领域[1]。相较于图片，视频虽然包含了更多的信息，但视频中摄像机的动作、人物动作尺度和姿态的不同、光照条件的突变等同样也大大增大了行为识别的难度[2]。同时，一段视频中往往还包含一些对行为识别贡献不大的背景信息和视频帧，这些无用的信息往往也会对识别过程造成较大的干扰[3]。因此寻求一种空间上能聚焦于人的行为动作，时间上能聚焦于较为关键的帧一直以来都是行为识别领域的一个热门问题。

最初，研究者采用手工提取特征的方式来进行行为识别，这些方法主要依赖于视频帧的中低层特征，利用这些特征可以对一些区分度较大的行为具有较好的效果，但对一些复杂行为或相似度较高的行为，分类器很难利用它们的中低层特征进行正确地分类。深度学习的快速发展让提取视频帧中的深层特征成为可能，相关的方法主要依赖于卷积神经网络(CNN)提取RGB图像和堆叠的光流图像的深层特征或采用长短期记忆神经网络LSTM[6]提取连续多帧的深层特征序列的动态特征。

Wang等人提出的时间切割网络(TSN)是基于卷积神经网络提取深层特征的方法中的典型代表，已经在人类行为识别上取得了较好的效果，其将一段视频分成若干段，然后在每一段中抽取一帧用卷积神经网络进行识别，最后融合每段的识别结果得到最终的识别结果。这种结构让模型具有捕捉视频长期信息的能力，并在行为识别的精度上具有明显的提升，但是TSN中采用的卷积神经网络如ResNet、BN-Inception等都是最后通过一个的全局平均池化层(GAP)来获取全局特征表示，然而这样做使网络对空间中各个位置的特征的关注程度相同，与此同时，在每一段中随机抽取视频帧的方式也无法保证所抽取的视频帧都是对行为识别有贡献的帧。这些缺点都会对行为识别造成较大的干扰。

发明内容

本发明的目的在于提供一种基于STA-TSN的人类行为识别方法及系统，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种基于STA-TSN的人类行为识别方法，包括以下步骤：

将视频分为N段，从每一段中提取k帧；

根据多尺度空间焦点特征增强策略在原有特征的基础上融合空间焦点特征；

在TSN中建立关键帧探索模块探索在每一段视频中的关键帧；

增加正则项引导关键帧探索模块进行有目的性的探索关键帧。

进一步的，使用空间金字塔池化SPP去探索多尺度空间焦点特征：

对于第n段第t帧图像，从CNN的最后一层卷积层中获得维度为H×H×C的特征图A_n,t，其中H×H为一个特征图中的像素个数，C为特征图的通道数；将A_n,t复制了三份，分别命名为A¹_n,t,

对于A¹_n,t，用来获得多尺度空间注意力权重α_n,t；