[发明专利]基于多流深度学习的人体行为识别方法

权利要求书

1.基于多流深度学习的人体行为识别方法，其特征在于，包括以下步骤：

S1、分别建立基于BN-inception网络的全局空域信息网络训练模型、局部空域信息网络训练模型和时域信息网络训练模型；

S2、训练并优化全局空域信息网络训练模型、局部空域信息网络训练模型和时域信息网络训练模型的参数，获取全局空域信息网络模型、局部空域信息网络模型和时域信息网络模型；

S3、将待识别视频V划分为S段非重叠的视频片段；

S4、在每个视频片段中随机提取一帧RGB图像以及RGB图像的分块图像和光流场特征，RGB图像作为对应视频片段的全局空域信息输入全局空域信息网络模型，分块图像作为对应视频片段的局部空域信息输入局部空域信息网络模型，光流场特征作为对应视频片段的时域信息输入时域信息网络模型；

S5、全局空域信息网络模型输出RGB图像的类别分数，局部空域信息网络模型输出分块图像的类别分数，时域信息网络模型输出光流场特征的类别分数；

S6、采用段共识函数对S段视频片段中的RGB图像的类别分数进行融合产生RGB图像段共识，采用段共识函数对S段视频片段中的分块图像进行融合产生分块图像段共识，采用段共识函数对S段视频片段中的光流场特征的类别分数进行融合产生光流场特征段共识；

S7、采用段共识函数对S段视频片段中的RGB图像段共识、分块图像段共识和光流场特征段共识进行加权融合，输出待识别视频的人体行为分类得分。

2.根据权利要求1所述的基于多流深度学习的人体行为识别方法，其特征在于：在步骤S2中，采用数据集ImageNet分别对全局空域信息网络训练模型、局部空域信息网络训练模型和时域信息网络训练模型进行训练。

3.根据权利要求2所述的基于多流深度学习的人体行为识别方法，其特征在于：在步骤S2中，采用数据集UCF-101和数据集HMGB51分别对训练后的全局空域信息网络模型、局部空域信息网络模型和时域信息网络模型进行参数优化。

4.根据权利要求1所述的基于多流深度学习的人体行为识别方法，其特征在于：对于待识别视频V，把它按相等间隔分为S段，为{V₁,V₂,…,V_S}，待识别视频V的动作识别公式为：c＝H(F(G(rand(V₁),W),…,G(rand(V_s),W)))；

其中，F表示段共识函数，c表示类别分数，G表示在训练阶段使用的对应类别的真值，H采用Softmax预测函数，对待识别视频中人体行为分类得分进行预测；

最终的损失函数为：

其中，y表示训练数据集中的标签，F表示预测的结果，L(y，F)表示训练过程中使用的损失函数。

5.根据权利要求1所述的基于多流深度学习的人体行为识别方法，其特征在于：所述分块图像的分块方式为：采用由上到下水平平均分配的方法将每一帧RGB图像分为大小相等的三个部分，然后分别将这三个部分的图像信息得出的类别分数加权融合得到分块图像的类别分数。

6.根据权利要求1所述的基于多流深度学习的人体行为识别方法，其特征在于：在步骤S2中，全局空域信息网络模型、局部空域信息网络模型和时域信息网络模型均采用单独训练。

7.根据权利要求1所述的基于多流深度学习的人体行为识别方法，其特征在于：在步骤S2中，RGB图像、分块图像和光流场特征的输入模式的像素大小均调整为32×32。

8.根据权利要求1所述的基于多流深度学习的人体行为识别方法，其特征在于：在步骤S4中，全局空域信息网络模型和局部空域信息网络模型共享参数。