[发明专利]基于轨迹和卷积神经网络特征提取的行为识别方法

权利要求书

1.一种基于轨迹和卷积神经网络特征提取的行为识别方法，其特征在于，包括有如下步骤：

(1)输入所有视频数据：其中包含B种人体行为，每个视频中只含有一种行为，每个视频包含m帧，每一帧长、宽分为H和W，每个视频为一个样本；

(2)获得每个视频的局部费舍尔向量特征：对输入的每个视频采样视频帧，剔除采样视频帧中均匀区域的采样点，对得到的采样点提取运动轨迹，利用卷积神经网络提取卷积层特征，得到基于轨迹约束的卷积层特征，采用不同尺度的长、宽、时间轴将视频分割为多个子块，利用子块中轨迹的数量筛选子块，对筛选后的子块中轨迹约束的卷积层特征进行费舍尔向量编码，得到每个视频的栈式局部费舍尔向量编码特征，具体步骤如下；

(2.1)对每个视频中的采样帧进行下采样，从第1帧开始，以Q为时间间隔，采样视频帧，对每一采样帧基于网格进行像素点步长为5的稠密下采样，得到下采样后的图像I₁，并以步长5为基准以为倍数再进行稠密采样，得到下采样后的图像I₂；

(2.2)剔除均匀区域采样点，定义阈值T，采样点i在原始视频帧I中自相关矩阵的特征值的大小：

式中λ_i¹表示采样点i在视频帧I中的第一特征值，λ_i²表示采样点i在视频帧I中的第二特征值，当采样点的特征值G小于阈值T则舍去，使得图像中均匀区域的采样点被移除；

(2.3)提取运动轨迹，对移除了均匀区域采样点的人体行为视频帧，分别追踪不同尺度的采样点，对于每一帧计算出对应的稠密光流场ω_t＝(μ_t,ν_t)，其中，μ_t和ν_t分别为水平和垂直方向的光流；对于当前帧中的一个目标点P_t＝(x_t,y_t)，通过使用中值滤波器M追踪目标点在下一帧的位置：

其中，M为33大小的中值滤波器，(x_t,y_t)为当前帧中目标点的横、纵坐标，一系列视频帧上的目标点构成该时间间隔内的运动轨迹：(P_t,P_t+1,P_t+2,...,P_t+Q-1)，Q为整个轨迹的最大长度，拼接所有运动轨迹得到整个视频的运动轨迹；

(2.4)利用卷积神经网络提取卷积层特征，对每个视频中的每一帧利用卷积和池化操作提取卷积特征图，通过特征图归一化并结合运动轨迹进行池化，提取最终轨迹约束的卷积层特征；

(2.5)提取栈式局部费舍尔向量编码特征，使用不同空间尺度对整个视频空间进行分割，得到局部费舍尔向量；

(2.6)提取局部费舍尔向量，对视频从长、宽、时间轴进行划分并产生多个尺度的子块，宽度为W/2和W，长度为H/2和H，时间尺度为m/3、2m/3和m，对每个子块的运动轨迹特征S＝[s₁,s₂,...,s_N]∈R^d×N进行主成分分析和白化后再进行第一次费舍尔向量编码，费舍尔向量编码的字典包含K个原子，从而得到局部费舍尔特征向量S＝[s′₁,s′₂,...,s′_N]∈R^2Kd×N，其中，d表示单个运动轨迹的特征维度，N表示运动轨迹的个数；

(2.7)筛选局部费舍尔向量，设定阈值E，当某个子块内部的轨迹特征数量小于这个阈值则舍弃该子块，得到更新后的局部费舍尔向量A＝[a₁,a₂,...,a_Z]∈R^2Kd×Z，其中，Z表示可用子块的数量；

(3)压缩特征，在获得所有视频的局部费舍尔向量基础上，以25倍交叉验证方法将所有视频数据划分为训练集和测试集，在训练集上，利用最大间隔特征变换方法学习投影矩阵，用该投影矩阵压缩所有训练集和测试集的局部费舍尔向量，对压缩后的局部费舍尔向量再次进行主成分分析和白化，将结果作为输入，进行第二次费舍尔向量编码，最终得到能精确描述人体行为视频的栈式局部费舍尔向量特征；

(4)行为识别，基于最终得到的栈式局部费舍尔向量特征与对应的类标，利用支持矢量机以25倍交叉验证方法获得识别结果，完成人体行为识别。