[发明专利]基于多流深度学习的人体行为识别方法

说明书

本发明公开了一种基于多流深度学习的人体行为识别方法，首先按分别建立基于BN‑inception网络的全局空域信息网络训练模型、局部空域信息网络训练模型和时域信息网络训练模型，并对其进行训练；之后将待识别视频V划分为S段非重叠的视频片段；之后在每个视频片段中随机提取一帧RGB图像以及RGB图像的分块图像和光流场特征，RGB图像作为对应视频片段的全局空域信息输入全局空域信息网络模型，分块图像作为对应视频片段的局部空域信息输入局部空域信息网络模型；本发明结合了全局空域信息、时域信息和局部空域信息，融合了局部时空信息，将RGB图像分成三个部分，用于提取视频帧局部的细节；同时实现了多种模态融合，提高了识别结果的准确性。

技术领域

本发明涉及人体行为识别技术领域，尤其是涉及一种基于多流深度学习的人体行为识别方法。

背景技术

近年来，人体行为识别作为视频分析的主要研究方向，已经广泛应用在视频游戏、机器人、人机交互、医疗保健等领域中。人体行为识别的过程主要指通过对视频中能够代表人体行为的特征提取，确定人体行为模式。现有的人体行为识别方法主要包括传统的行为识别方法，即基于人工设定的特征提取方法进行行为识别和基于深度学习框架的行为识别。传统的行为识别方法难以满足人体行为识别研究中空间复杂性高、时间差异性大的特点，不能实现高效的行为识别目的。而基于深度学习模型的人体行为识别方法可以通过训练从大规模视频数据中获得更加丰富的知识，提高对复杂人体行为的识别能力。目前人体行为识别的存在的困难主要有以下几个方面：严重依赖物体和场景，光流的长度和语义问题，卷积神经网络本身存在的“黑盒”问题等。而就人体所在的具体环境而言，受到的挑战主要包括遮挡、光照变化、自由度较大等。这些问题既是人体行为识别领域严重中存在的客观现象，也是人体行为识别研究必须解决的问题。

深度学习方法主要是通过大量数据集的训练得到深度学习模型，并在测试中不断完善，能够更有效扑捉到数据的波动特点。目前，主流的基于深度学习的人体行为识别方法分为基于3维卷积神经网络(C3D)的方法法和双流法。C3D的最大优势在于速度，通过3D卷积在空间和时间维度上捕捉视频流的运动信息，构造3D卷积网络进行人体行为识别。Carreira J等人提出了I3D模型(inception-V1 3D)，基于inception-V1模型，将2D卷积扩展到3D卷积。Diba A等人提出了T3D模型(Temporal 3D ConvNets)，一方面是采用了3Ddensenet，区别于之前的inception和Resnet结构；另一方面，TTL层，即使用不同尺度的卷积(inception思想)来捕捉讯息。Qiu Z等人改进ResNet内部连接中的卷积形式，利用提出的P3D模型(Pseudo-3D residual networks)进行行人识别。Diba A等人则设计了一个通用的模型LEN(Linear Encoding Networks)，用于网络提取出特征之后的处理，可以用于two-stream以及C3D中。

双流法对视频序列中每两帧计算密集光流，得到密集光流的序列，对视频图像和密集光流融合分析以完成识别任务。相比C3D法，双流法在主流公共数据集(如UCF101、HMDB51)中取得了更加突出的性能；由此，也衍生出了更多基于双流法的人体行为识别方法，例如双流融合人体行为识别方法和基于时空网络的人体行为识别方法(TSN)方法。此外，还有其他的人体行为识别方法涌现出来，例如将时空轨迹信息与卷积神经网络结合的方法，将三维特征与时空特征结合的方法等。