[发明专利]一种时空行为检测方法

说明书

本发明公开了一种时空行为检测方法，包括对样本视频中所有帧进行对象检测，获取候选对象集合；计算样本视频中所有帧间光流信息，获取运动集合；构建附加对象注意机制和运动注意机制的时空卷积‑反卷积网络；对样本视频的各时间片段进行时空卷积处理后，均添加对应的稀疏变量和稀疏约束得到网络结构S；以基于交叉熵的分类损失和稀疏约束的损失为目标函数，对网络结构S进行训练；计算测试样本视频中各时间片段对应的行为类别与稀疏系数，获取对象行为时空位置。本发明通过对象检测和光流预测，不仅减少行为搜索空间，而且时空行为检测具有良好的鲁棒性。

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种时空行为检测方法。

背景技术

行为分析是当前计算机视觉中一个重要而活跃的研究热点，它不但在社会安全领域有着广泛应用，比如监控环境下的异常行为检测、商场中的偷窃行为检测识别，还在人机交互中有着不可取代的地位，比如服务机器人对老人的行为进行有效的预测以防止意外发生，除此之外，还可用于现有的社交网络、直播平台等色情、反动、暴力等行为的检测与识别。

目前的行为检测方法，从需要的监督信息上划分为两大类：一种为基于强监督的方法，其监督信号包括检测框，行为在时间上的起始和截至标记以及视频标签；另一种为基于弱有监督的方法，其监督信号只有视频的类别标记。目前对第一类方法研究较多，并且在公开数据集上取得了较好的性能，但还仍然不能满足实际需求，因为在实际场景下如果要取得可接受的性能需要大量的样本标记，而且由于行为标记的困难和特殊性导致这种需求很难被满足。第二类方法基于弱有监督的方法更好的利用现有的仅包含类别标记的样本，能够以自学习的方式有效地挖掘行为特征。但是行为必须具备三要素，分别是行为执行者、特定运动信息和时序性，现有的方法没能同时集中解决这三个方面。目前的方法主要是利用多实例学习和模型自学的注意机制来定位目标行为，使得这类方法鲁棒性低，在复杂场合中、以及对象较多的时候会极大地降低该类方法的性能。

由此可见，现有时空行为检测方法存在需要大量的人力物力、不实用、鲁棒性较低的技术问题。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种时空行为检测方法，旨在解决因现有技术无法有效结合执行者、特定运动信息和时序性识别行为而导致弱有监督时空行为检测方法鲁棒性差的问题。

为实现上述目的，本发明提供了一种时空行为检测方法，包括：

(1)对样本视频中所有帧进行对象检测，获取候选对象集合；

(2)计算样本视频中所有帧间光流信息，获取运动集合；

(3)基于候选对象集合和运动集合，构建附加对象注意机制和运动注意机制的时空卷积-反卷积网络；

(4)以时空卷积-反卷积网络为输入，对样本视频的各时间片段进行时空卷积处理后，均添加对应的稀疏变量和稀疏约束得到网络结构S；

(5)以基于交叉熵函数的分类损失和稀疏约束的损失为目标函数，对网络结构S进行训练；

(6)以网络结构S为基础，计算测试样本视频中各时间片段对应的行为类别、稀疏系数以及其分布概率图，获取对象行为时空位置。

优选地，所述步骤(1)具体包括：

(1.1)将样本视频中包含的图像缩放到同一尺寸下；

(1.2)利用目标检测器和FPN分别对归一化后的图像进行对象检测，获取两种对象检测框结果；

(1.3)对两种对象检测框的并集进行非极大抑制，获取筛选的对象位置；

(1.4)利用快速跟踪方法和滤波器对未被筛选的对象检测框进行跟踪，找回未检出的对象位置。

优选地，所述步骤(2)具体包括：