[发明专利]一种基于视频的行为识别方法

说明书

本发明公开了一种基于视频的行为识别方法，属于视频图像处理领域。本发明将待测视频数据转换成RGB帧和光流帧，放入训练好的子网络获取RGB帧和光流帧的特征值，将所述特征值放入训练好的长短时记忆网络，得到行为识别结果；所述子网络在训练时，由交叉融合训练好的父网络进行监督。本发明使用交叉融合进一步提高行为识别的准确率，妥善解决了传统算法精确度低，较长时间段信息无法有效利用的问题。

技术领域

本发明涉及一种基于视频的行为识别方法，属于视频图像处理领域。

背景技术

随着行为识别技术的不断发展，基于视频的行为识别变得越来越可靠。而与利用静止的图像进行分类相比，视频图像信息能额外提供了一个重要的线索：时间分量。利用视频中行为人在时间上的肢体运动信息可以更为可靠地识别许多动作，进而对视频进行分类。此外，视频还为单张静止图像(视频的每一帧)分类提供了自然数据增强(抖动)。

视频分类与行为识别因其在公共安全以及行为分析等诸多领域的广泛应用，引起了学术界的极大关注。在行为识别中，有两个关键和互补的方面：外观和动态。识别系统的性能在很大程度上取决于它是否能够从视频中提取和利用相关信息。最近，卷积网络(convnets)在对对象、场景和复杂事件的图像进行分类方面取得了巨大的成功，convnets也可解决基于视频的行为识别问题。深层convnets具有很强的建模能力，能够在大规模的监控数据集的帮助下，从原始视觉数据中学习识别表示。然而，与图像分类不同的是，端到端的深度转换网络在基于视频的行为识别方面仍然无法实现传统手工制作的功能的显著优势，主要是受到了两个主要障碍，首先，长的时间结构在理解动作视频中的动态变化中起着重要作用,然而主流的convnets框架通常关注外观和短期运动，因此缺乏整合长时间运动信息的能力；其次，可以直接用来训练的数据集仍不够理想，需要进一步扩充数据集。

在深度学习中，针对视频分类任务常用的解决方法一般有两种：3D卷积法和双流法。目前对于一般配置的电脑，3D卷积运算量较大，需要花费大量的时间用于训练。因此选择用双流法进行训练，而普通双流CNN只在最后结合基于RGB的CNN、基于光流法的CNN进行行为识别，无法合理地融合光流图像与普通RGB图像各自优势。

发明内容

本发明的目的在于：针对普通双流CNN只在最后结合基于RGB的CNN、基于光流法的CNN进行行为识别，无法合理地融合光流图像与普通RGB图像各自优势的缺陷，以及有效数据不够充足的问题，提出一种基于视频的行为识别方法，从而有效解决了普通双流CNN无法有效利用时间信息以及数据量不够充足的问题，识别准确度显著提高。

为了达到上述目的，本发明的一种基于视频的行为识别方法，将待测视频数据转换成RGB帧和光流帧，放入训练好的子网络获取RGB帧和光流帧的特征值，将所述特征值放入训练好的长短时记忆网络，得到行为识别结果；所述子网络在训练时，由交叉融合训练好的父网络进行监督。

进一步，所述父网络由交叉融合训练的具体过程为：将父网络训练数据集转换成RGB帧和光流帧，对所述RGB帧和光流帧进行训练后获取各自的特征值，使用交叉融合的方式对RGB侧和光流侧进行调整，全连接融合父网络RGB帧、光流帧以及融合网络的特征值，得到特征值F，通过softmax函数对特征值F产生概率分布。

更进一步，所述使用交叉融合的方式对RGB帧和光流帧进行调整的具体过程为：

在进行第二、三次最大池化之前，将RGB帧第二次卷积后得到的特征图a中的每一个特征值a_i乘以权重m，同期光流帧的特征图b中相应位置的特征值b_i乘以权重n，m*a_i+n*b_i得到新的特征图c，特征图c放入DenseBlock中继续训练得到的特征图d，d*p+a＝e、d*q+b＝f，由特征图e对RGB帧继续训练，由特征图f对光流帧继续训练。