[发明专利]基于LRCN网络的行为识别方法、装置、设备及介质

权利要求书

1.一种基于长时递归卷积网络的行为识别方法，其特征在于，包括：

获取待识别的视频帧序列和对应的光流图；

将待识别的视频帧序列和对应的光流图输入长时递归卷积网络模型，得到所述待识别的视频帧序列的行为类别标签，其中，将所述待识别的视频帧序列中每相邻的预设数量的帧输入长时递归卷积网络模型中的第一卷积神经网络内，将预设数量的帧对应的光流图输入长时递归卷积网络模型中的第二卷积神经网络内，卷积神经网络分别对预设数量的帧和光流图采用数据融合的方式进行卷积层共享；

将视频帧序列中每相邻的预设数量的帧输入长时递归卷积网络模型中第一卷积神经网络内，将预设数量的帧对应的光流图输入长时递归卷积网络模型中第二卷积神经网络内，包括：

针对每相邻的预设数量的帧，第一卷积神经网络具备N层卷积，N为正整数，将第一帧输入第一卷积神经网络内，第一卷积神经网络的各层卷积依次对第一帧进行卷积计算；将第二帧与第一卷积神经网络内第一帧在第N-1层卷积的输出结果输入到第一卷积神经网络的第N层卷积；将第三帧与第一卷积神经网络内第一帧在第N-2层卷积的输出结果输入到第一卷积神经网络的N-1卷积；将第四帧与第一卷积神经网络内第一帧在第N-3层卷积的输出结果输入到第一卷积神经网络的第N-2层卷积；将第五帧与第一卷积神经网络内第一帧在第N-4层卷积的输出结果输入到第一卷积神经网络的第N-3层卷积，循环以上步骤直至将最后一帧输入第一卷积神经网络；第一卷积神经网络的各层卷积分别输出一个帧特征向量；

针对预设数量的帧对应的光流图，第二卷积神经网络具备N层卷积，将第一帧对应的光流图输入第二卷积神经网络内，第二卷积神经网络的各层卷积依次对第一帧对应的光流图进行卷积计算；将第二帧对应的光流图与第二卷积神经网络内第一帧对应的光流图在第N-1层卷积的输出结果输入到第二卷积神经网络的第N层卷积；将第三帧对应的光流图与第二卷积神经网络内第一帧对应的光流图在第N-2层卷积的输出结果输入到第二卷积神经网络的N-1卷积；将第四帧对应的光流图与第二卷积神经网络内第一帧对应的光流图在第N-3层卷积的输出结果输入到第二卷积神经网络的第N-2层卷积；将第五帧对应的光流图与第二卷积神经网络内第一帧对应的光流图在第N-4层卷积的输出结果输入到第二卷积神经网络的第N-3层卷积，循环上述步骤直至将最后一帧对应的光流图输入第二卷积神经网络；循环以上步骤直至将最后一帧对应的光流图输入第二卷积神经网络，第二卷积神经网络的各层卷积分别输出一个光流图特征向量。

2.如权利要求1所述的基于长时递归卷积网络的行为识别方法，其特征在于，还包括：

通过以下步骤训练所述长时递归卷积网络模型：

获取视频帧序列、对应的光流图以及对应的行为类别标签作为样本；

将视频帧序列中每相邻的预设数量的帧输入长时递归卷积网络模型中第一卷积神经网络内，将预设数量的帧对应的光流图输入长时递归卷积网络模型中第二卷积神经网络内，将所述第一卷积神经网络和所述第二卷积神经网络的输出作为长时递归卷积网络模型中一个长短时记忆网络的输入，将行为类别标签作为长时递归卷积网络模型的输出进行训练，得到所述长时递归卷积网络模型。

3.如权利要求1至2中任一项所述的基于长时递归卷积网络的行为识别方法，其特征在于，

所述预设数量等于所述时递归卷积网络模型中卷积神经网络的卷积层数。