[发明专利]一种基于时序类别激活图互补的弱监督视频行为检测方法

说明书

本发明公开了一种基于时序类别激活图互补的弱监督视频行为检测方法。本发明步骤如下：1、对视频数据和视频的类别标注进行预处理，2、特征嵌入模块，来学习嵌入后的特征，3、在线生成时序类别激活图，4、生成时序类别激活图的互补激活图，5、生成检测结果，6、模型训练，利用反向传播算法训练神经网络参数。本发明提出一种弱监督时序行为检测领域中在线生成时序类别激活图并基于此生成互补激活图的方法，以及在弱监督时序行为检测中更加适用的特征嵌入结构，并且获得了目前在弱监督时序行为检测领域中的较好效果，相比于原始的时序类别激活图的方法性能有了很大提升。

技术领域

本发明涉及一种针对弱监督视频行为检测(Weakly Supervised TemporalAction Detection，WSTAD)的深度神经网络，尤其涉及一种在线生成时序类别激活图的方法以及对学习时序类别激活图的补充区域进行建模表达。

背景技术

视频分析是计算机视觉领域的一个重要领域，主要是对于已有视频进行分析得到需要的内容。视频分析包含了很多热门的研究方向，如视频行为分类(ActionRecognition)，视频描述(Video Caption)，视频行为检测(Temporal Action Detection)，弱监督视频行为检测(Weakly Supervised Temporal Action Detection)等。视频行为检测的目标是给一段长视频模型来检测出视频中发生的一个或多个行为的类别以及每个行为对应的开始时间和结束时间，视频行为检测的模型训练时输入为一个视频和它对应的行为类别和每个类别的起止时间。弱监督视频行为检测的目标在于训练数据仅仅包含输入视频中发生行为的类别，而没有这些行为对应的开始时间和结束时间，但是在模型预测时需要输出预测视频中发生的行为的类别以及每个类别对应的起止时间。

随着近年来深度学习的迅速发展，使用深度神经网络，如深度卷积神经网络(Convolutional Neural Networks,CNN)和深度循环神经网络(Recurrent NeuralNetworks,RNN)进行特征提取、问题建模成为目前计算机视觉方向上的主流研究方向。在弱监督视频行为检测算法中，引入深度卷积神经网络进行视频的时空特征提取，同时对提取得到的特征设计适当的网络结构进行建模，直接输出视频中发生的动作类别以及进一步的得到每个类别对应的起止时间是一个值得深入探索的研究问题。

在实际应用方面，弱监督视频行为检测算法具有非常广泛的应用场景。例如在视频网站的大量视频中，自动生成体育运动(足球比赛，篮球比赛等)中的精彩片段，检测商场监控视频中的异常行为，同时还能够为视频描述等任务提供更有效的视频数据。

综上所述,基于弱监督视频行为检测算法是一个值得深入研究的方向，本课题拟从该任务中几个关键的难点问题切入，解决目前方法存在的问题，并最终形成一套完整的视频行为检测系统。

由于自然场景下的视频内容复杂，且视频分辨率有高有低；这使得弱监督视频行为检测算法面临巨大的挑战。具体而言，主要存在如下三方面的难点：

(1)大部分对于视频的特征提取都是使用3D卷积直接提取时空特征，或者使用TVL-1算法抽取出视频中的光流，使用光流提取视频的时序信息同时使用视频的图像帧提取视频的空间信息。但是这些方法使用的特征提取器一般是使用在视频识别数据集上预训练的深度卷积神经网络，对于弱监督行为检测任务来说，这种提取到的特征并不一定是最好的。所以如何得到更加适用于弱监督行为检测任务的视频特征是对弱监督视频行为检测算法性能影响的重要因素。