[发明专利]基于深度学习的时空数据流视频行为识别方法

说明书

技术领域

本发明涉及计算机视觉、模式识别、机器学习多种领域，尤其是机器学习 中的深度学习，具体涉及一种基于深度学习的时空数据流视频行为识别方法。

背景技术

传统的视频行为识别方法大多数提取稀疏时空兴趣点，然后将其描述为局 部时空特征，例如梯度直方图(HOG)、光流直方图(HOF)，把这些特征用特征袋 (BOF)表示，再用分类器，例如SVM对其分类。但这些特征都是人工选择的特 征，当应用场景改变时，原本选取的特征就不能发挥最好的作用，而再次选择 特征又需要一定工作。深度学习正是解决这个问题的有效途径。

目前，有研究人员也尝试使用深度学习的方法，例如C3D，要处理视频数 据必须对现有网络模型进行修改，加上视频数据的复杂性，导致网络计算量非 常巨大，由此将产生较高的处理延时，使系统不适用于实时视频处理。但如果 处理单一的图像数据，现有的神经网络的精度和速度都能满足需求。

视频数据的复杂性使各种特征的组合非常多，想表示一种行为必须有目标 和运动双重特征，如果要涵盖所有的行为就需要一个很大但冗余的数据集，这 在工作量和存储量方面都是不可行的。但使用组合特征，即目标特征+运动特征， 就可以使用有限的特征表达更多的行为，不仅缩小了训练数据集，而且使系统 适用范围更广泛。

发明内容

为解决现有技术中的缺点和不足，本发明提出一种基于深度学习的时空数 据流视频行为识别方法，既能够发挥深度学习有效学习最有用的特征的优势， 减少人工选取特征的局限性，又能够发挥时空数据流处理速度快、使用有限特 征表达更多行为的优势，使本方法更适用于实时视频处理。

本发明的技术方案是这样实现的：

一种基于深度学习的时空数据流视频行为识别方法，将单一视频流拆分成 空间流和时间流，空间流代表静态的视频帧，反映视频中的目标类别；时间流 代表视频中的运动成分，反映视频中目标的行为。

可选地，空间流和时间流为两个除了最后一层外结构相同的卷积神经网络， 分别处理静态视频帧图像和视频运动。

可选地，在训练阶段，使用公共图像数据集训练空间流卷积神经网络，使 用公共运动视频数据集训练时间流卷积神经网络。

可选地，在训练阶段，使用公共图像数据集训练空间流卷积神经网络，使 用公共运动视频数据集训练时间流卷积神经网络，具体步骤为：

(1)收集公共图像数据集和运动视频数据集，建立训练数据集；筛选图像 数据集，并且将运动视频数据转换成光流密度图；

(2)将图像数据输入空间流卷积神经网络，将光流密度图输入时间流卷积 神经网络，训练并调整参数。

可选地，在识别阶段，将视频图像和视频运动分别输入到两个卷积神经网 络，具体步骤为：

(1)将视频拆分为静态视频帧和视频运动，其中视频运动使用光流密度图 表示，分别输入到两个已经训练好的卷积神经网络中；

(2)两个卷积神经网络的softmax分别输出各自的分类结果，使用多分类 SVM融合两个结果，给出最后的行为类别。

本发明的有益效果是：

(1)深度学习自动学习良好的特征，避免了人工选取特征的局限性，适应 能力更强；

(2)使用组合特征，即时间特征和空间特征来表示行为，可以利用有限的 数据集来学习更多的行为；将单一视频流拆分成时空数据流，分别进行识别， 能够提高识别精度和速度；

(3)将连续的视频帧用光流密度图表示，这样在不改变神经网络结构的情 况下也可以对视频运动进行识别，同时降低了数据维度，在很大程度上减少了 计算量，加快处理速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于深度学习的时空数据流视频行为识别方法流程图；

图2为本发明卷积神经网络结构图。

具体实施方式