[发明专利]基于轨迹和卷积神经网络特征提取的行为识别方法

说明书

本发明公开了一种基于轨迹和卷积神经网络特征提取的行为识别方法，主要解决人类行为视频内容复杂且特征稀疏而导致计算冗余以及分类正确率低的问题。其步骤包括：输入图像视频数据，对视频帧中像素点下采样，剔除均匀区域采样点，提取轨迹，利用卷积神经网络提取卷积层特征，结合轨迹和卷积层特征抽取基于轨迹约束的卷积特征，基于轨迹约束的卷积特征提取栈式局部费舍尔向量特征，压缩变换栈式局部费舍尔向量特征，利用最终的栈式费舍尔向量特征训练支持矢量机模型，进行人体行为识别与分类。本发明采用了多层次费舍尔向量结合卷积轨迹特征描述子的方法，能获得较高且稳定的分类正确率，可广泛应用于人机交互，虚拟现实，视频监控等领域。

技术领域

本发明属于视频图像处理技术领域，主要涉及深度学习、特征提取，具体是一种基于轨迹和卷积神经网络特征提取的行为识别方别方法。用于对人体行为视频的分类。

背景技术

人体动作行为识别广泛应用于人机智能交互、虚拟现实和视频监控等领域。尽管近年来国内外人体动作行为识别的研究取得了重要的进展，但人体运动的高复杂性和多变性使得识别的精确性和高效性并没有完全满足相关行业的使用要求。总体来说人体动作行为识别中的挑战来自一下两方面：

1)空间复杂性：不同光照、视角和背景等条件下会呈现不同的动作场景，而在不同的动作场景中相同的人体行为在姿态和特性上会产生差异。即使在恒定的动作场景中，人体动作也会有较大的自由度，而且每一种相同的动作在方向、角度、形状和尺寸方面有很大的差异性。此外，人体自遮挡、部分遮挡、人体个体差异、多人物识别对象等问题都是动作识别复杂性在空间上的体现。空间复杂性对人体动作行为识别结果的影响主要体现在精确性方面。

2)时间差异性。时间差异性是指人体动作发生的时间点不可预测，而且动作的持续间隔也不尽相同。此外，动作在作用时间内也可能存在动作空白间隙。时间差异性要求识别过程中能够分辨动作的起止时间，同时有效判断动作作用的有效时间和间隔，对动作在时域和时序范围内进行更加细致的分析，导致动作在不同速率、顺序和组合情况下都会存在差异。时间差异性不仅对识别精确性产生影响，也会带来计算实时性和效率等影响识别高效性的问题。

人体动作行为的空间复杂性和时间复杂性使得人体动作行为识别研究领域并没有统一有效的分析分类方法。针对基于视觉的全身人体运动行为识别研究，一般通过一下几种方式进行分析和分类：1)将人体动作行为识别划分为几个互相联系的子过程，根据过程划分方式的不同对相应技术进行分析分类；2)典型问题方式，即选取人体动作行为识别中的部分典型问题作为对象，针对这些对象研究中涉及的方法进行分析分类；3)空间时域方法，即根据时域和空间上各项研究方法的差别对相应技术进行分析分类；4)深度学习方法，即利用人工神经网络模拟人体视觉过程进行分析分类。

通过寻找人体行为视频中关键轨迹点以及对应位置的特征描述子是比较有效的行为识别方法，特征描述子包括SIFT、梯度方向直方图HOG、光流场方向直方图HOF、运动边界直方图MBH、稀疏表示等，其中HOG、HOF和MBH是应用最广泛的特征提取方法。HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，它通过计算和统计图像局部区域的梯度方向直方图来构成特征。HOG特征结合SVM分类器已经广泛的应用于图像中，但是HOG描述子生成过程冗长，计算速度慢，难以达到实时性，并且难以处理遮挡问题，由于梯度本身的特性导致对噪声点十分敏感。SIFT特征是基于物体上的一些局部外观兴趣点与图像大小和旋转无关，对于光线、噪声、微视角改变的容忍度较高，而且对于部分物体遮蔽的侦测率也相当高，但是SIFT对于边缘光滑的目标无法准确提取特征点，而且有时特征点较少，实时性很难满足要求。

上述SIFT、HOG、MBH等都是无监督的特征提取方法，采用无监督直接在图像样本上提取信息，由于没有利用类标，缺乏具有判别力的信息，算法局限性会产生大量冗余并且和最终分类无关的特征信息和计算量，尤其对于时间跨度比较长，内容复杂的视频图像，其特征提取的有效性和时间复杂度以及准确率都很难达到要求。