[发明专利]基于LRCN网络的行为识别方法、装置、设备及介质

说明书

本发明实施例提供一种基于LRCN网络的行为识别方法、装置、设备及可读存储介质，其中，该方法包括：获取待识别的视频帧序列和对应的光流图；将待识别的视频帧序列和对应的光流图输入长时递归卷积网络模型，得到所述待识别的视频帧序列的行为类别标签，将所述待识别的视频帧序列中每相邻的预设数量的帧输入长时递归卷积网络模型中的第一卷积神经网络内，将预设数量的帧对应的光流图输入长时递归卷积网络模型中的第二卷积神经网络内，卷积神经网络分别对预设数量的帧和光流图采用数据融合的方式进行卷积层共享。该方案在卷积层之间引入共享，使得降低了相邻帧之间的图像信息存在的大量冗余之后再进行行为识别，从而有利于减少网络整体的计算量。

技术领域

本发明涉及行为识别技术领域，特别涉及一种基于LRCN(长时递归卷积网络)网络的行为识别方法、装置、设备及可读存储介质。

背景技术

行为识别是序列学习任务的另一个具体实例，是时序的图像序列作为输入的一种学习。行为识别的目的是从对代理人行为和环境状况的一系列观察中识别一个或者多个代理人的行为。从20世纪80年代开始，这个研究领域由于它在许多不同的应用以及与许多不同研究领域的关联，例如，医学、人机交互和社会学，已经吸引了许多计算机科学领域人员的关注。

目前，将结合卷积神经网络(CNN)与循环神经网络(LSTM)的LRCN(长时递归卷积网络)网络应用于视频序列进行行为识别。识别方法如图1所示，输入的视频序列是由一系列的采样的帧所组成的，视频可以看作图像在时间上的一个排布，一个长度为T的视频序列的每一帧是一张从一个连续的视频序列中采样得到的图片，每一张图片都输入一个单独的卷积神经网络，卷积神经网络的权重是与时刻相关固定的，每一个时间步的权重是不同的。

对于输入的图片来说，采用的是从一个连续视频序列中采样的图片以及计算的光流图，光流是由稠密光流算法计算得到的，并且被缩放和平移x与y的在[-128，128]范围的光流值转化成的一张光流图，图片的第三通道是计算光流的幅度得到的。采用裸图片数据输入和光流图片输入分别使用两个不同的网络进行训练。在训练过程中，视频被缩放到了240×320的大小，通过用227×227抠图和镜像来增强数据。从而使得训练数据集的丰富性，以及达到各种动作视频样本的平衡。

此外，LRCN网络是由视频中采样得到的20帧图像来训练的，虽然用的数据集每个视频的长度都长于20帧。采用的方法是按照6s的时长进行视频的分段截取，并重叠3s进行下一个时刻的截取，并将6s中视频的所有帧等间隔抽样取20帧。LRCN网络被训练用来预测一整个视频的一个行为类别标签，一整段视频20帧输出一个类别标签，在输出之前我们对于网络softmax层在所有帧上的输出做了一个平均来得到这一个输出的类别标签。

我们可以看出，在现有的行为识别过程中，对视频序列中的连续每一帧都使用卷积神经网络进行卷积计算，使得计算开销比例较大。

发明内容

本发明实施例提供了一种基于LRCN(长时递归卷积网络)网络的行为识别方法，以解决现有技术中基于LRCN网络进行行为识别时计算开销较大的技术问题。该方法包括：

将待识别的视频帧序列和对应的光流图输入长时递归卷积网络模型，得到所述待识别的视频帧序列的行为类别标签，其中，将所述待识别的视频帧序列中每相邻的预设数量的帧输入长时递归卷积网络模型中的第一卷积神经网络内，将预设数量的帧对应的光流图输入长时递归卷积网络模型中的第二卷积神经网络内，卷积神经网络分别对预设数量的帧和光流图采用数据融合的方式进行卷积层共享。

本发明实施例还提供了一种基于LRCN网络的行为识别装置，以解决现有技术中基于LRCN网络进行行为识别时计算开销较大的技术问题。该装置包括：

数据获取模块，用于获取待识别的视频帧序列和对应的光流图；