[发明专利]基于深度学习的时空数据流视频行为识别方法

权利要求书

1.一种基于深度学习的时空数据流视频行为识别方法，其特点在于：

将单一视频流拆分成空间流和时间流，空间流代表静态的视频帧，反映视 频中的目标类别；时间流代表视频中的运动成分，反映视频中目标的行为。

2.如权利要求1所述的一种基于深度学习的时空数据流视频行为识别方法， 其特点在于：

空间流和时间流为两个除了最后一层外结构相同的卷积神经网络，分别处 理静态视频帧图像和视频运动。

3.如权利要求2所述的一种基于深度学习的时空数据流视频行为识别方法， 其特点在于：

在训练阶段，使用公共图像数据集训练空间流卷积神经网络，使用公共运 动视频数据集训练时间流卷积神经网络。

4.如权利要求3所述的一种基于深度学习的时空数据流视频行为识别方法， 其特点在于：具体步骤为：

(1)收集公共图像数据集和运动视频数据集，建立训练数据集；筛选图像 数据集，并且将运动视频数据转换成光流密度图；

(2)将图像数据输入空间流卷积神经网络，将光流密度图输入时间流卷积 神经网络，训练并调整参数。

5.如权利要求2所述的一种基于深度学习的时空数据流视频行为识别方法， 其特点在于：

在识别阶段，将视频图像和视频运动分别输入到两个卷积神经网络，具体 步骤为：

(1)将视频拆分为静态视频帧和视频运动，其中视频运动使用光流密度图 表示，分别输入到两个已经训练好的卷积神经网络中；

(2)两个卷积神经网络的softmax分别输出各自的分类结果，使用多分类 SVM融合两个结果，给出最后的行为类别。