[发明专利]一种时空行为检测方法

权利要求书

1.一种时空行为检测方法，其特征在于，包括：

(1)对样本视频中所有帧进行对象检测，获取候选对象集合；

(2)计算样本视频中所有帧间光流信息，获取运动集合；

(3)基于候选对象集合和运动集合，构建附加对象注意机制和运动注意机制的时空卷积-反卷积网络；

(4)利用时空卷积-反卷积网络对样本视频的各时间片段进行时空卷积-反卷积处理，得到各时间片段对应的处理结果，并为各处理结果添加对应的稀疏变量和稀疏约束得到网络结构S；

(5)以基于交叉熵的分类损失和稀疏约束的损失为目标函数，对网络结构S进行训练；

(6)以网络结构S为基础，计算测试样本视频中各时间片段对应的行为类别、稀疏系数以及分布概率图，获取对象行为时空位置。

2.如权利要求1所述的时空行为检测方法，其特征在于，所述步骤(1)具体包括：

(1.1)将样本视频中包含的图像缩放到同一尺寸下；

(1.2)利用目标检测器和FPN分别对归一化后的图像进行对象检测，获取两种对象检测框结果；

(1.3)对两种对象检测框的并集进行非极大抑制，获取筛选的对象位置；

(1.4)利用快速跟踪方法和滤波器对未被筛选的对象检测框进行跟踪，找回未检出的对象位置。

3.如权利要求1或2所述的时空行为检测方法，其特征在于，所述步骤(2)具体包括：

(2.1)对光流信息包含的光流水平和竖直方向上的值进行归一化；

(2.2)在光流图水平和竖直方向上利用勾股定理，获取单通道的灰度图；

(2.3)根据灰度图获取运动信息区间。

4.如权利要求3所述的时空行为检测方法，其特征在于，所述时空卷积-反卷积网络包括时空卷积网络和反卷积网络，所述步骤(3)具体包括：

(3.1)全局平均池化时空卷积网络中下采样层的最后一层，获取卷积层的向量化表达；

(3.2)将卷积层的向量化表达与下采样层的最后一层相加获取反卷积网络上采样层的第一层；

(3.3)在反卷积网络的每一层特征图上叠加对应下采样层的特征图，完成时空卷积和反卷积网络的构建；

(3.4)对反卷积网络上采样层的最后一层特征图采用全局平均池化做向量化表达；

(3.5)在上述时空卷积和反卷积网络中选取任一层的特征图中加入对象显著性监督；

(3.6)在上述时空卷积和反卷积网络中选取任一层的特征图中加入运动显著性监督，完成时空卷积-反卷积网络的构建；

(3.7)在卷积层的向量化表达和反卷积层的向量化表达后均连接全连接层，所述全连接层用于对行为类别进行预测。

5.如权利要求4所述的时空行为检测方法，其特征在于，所述步骤(4)具体包括：

(4.1)样本视频分成的T个时间片段通过时空卷积后，将时空卷积网络连接的全连接层的特征x_i拼接，其中i＝1,...,T；

(4.2)采用全局平均池化方法计算T维的权值向量w＝[w₁,w₂,...,w_T]；

(4.3)在上述时空卷积-反卷积网络中增加根据权值向量获取的稀疏约束，完成网络结构S的构建。

6.如权利要求5所述的时空行为检测方法，其特征在于，所述步骤(6)具体包括：

(6.1)对热力图上采样获取的检测框进行非极大抑制，获取对象候选框；

(6.2)通过计算样本视频中各时间片段对应的权值向量，筛选行为的时间区间；

(6.3)将对象候选框对应的空间位置和时间区间结合，获取对象行为时空位置。