[发明专利]一种基于动静特征的视频分类方法

权利要求书

1.一种基于动静特征的视频分类方法，其特征在于，包括以下步骤：

步骤1)输入1个视频，所述视频是用户输入的视频，将该视频分解成具有l帧的视频片段，其中每个视频片段的间隔为5帧；

步骤2)通过密集轨迹跟踪算法即DT算法对步骤1)输入视频中运动的对象进行跟踪，并使用基于密度的噪声空间聚类算法(DBSCAN聚类算法)对来隔离每帧视频，实现对上述视频中动态信息的捕获和跟踪；所述的DT算法是通过网格划分的方式在图片的多个尺度上分别密集采样特征点；DBSCAN聚类算法是从某个选定的核心点出发，不断向密度可达的区域扩张，得到一个包含核心点和边界点的最大化区域；

步骤3)在每个视频片段的每一帧图像中构建运动框，通过增加和删除运动管中运动框的数量使每帧图像中包含的运动框的数量一致，通过步骤2)中跟踪的运动轨迹，将每帧中的运动框连接，生成运动管；

步骤4)通过计算运动管中的光流矢量，利用方向梯度直方图HoG特征的方法为每个运动管统计运动管运动的方向，再通过k均值聚类法即k-means聚类法选取100000个描述方向的向量，从而生成对动态信息的描述；HoG特征是是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，通过计算和统计图像局部区域的梯度方向直方图来构成特征；k-means聚类法是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则；

步骤5)处理静态特征的步骤如下：在数据集ImageNet上训练一个卷积神经网络即CNN神经网络，所述CNN神经网络包括5层卷积层，2层完全链接层和一个softmax模型的输出层，线性整流函数即ReLU函数作为激活函数；将此CNN神经网络应用到最初的分解的视频片断的每个帧，从中检索到深度特征后从CNN中的softmax层输出静态特征向量；输出的静态特征向量为每个视频片段建立一个静态描述，产生的静态特征的时间序列为：C＝[c_t0,c_t1,...,c_tn-1]；其中n代表视频的片段；

步骤6)通过乔里斯基变换即Cholesky变换将静态描述和动态描述进行融合，然后将融合的向量通过门控循环单元GRU神经网络，完成视频的分类；所述Cholesky变换是指通过代数的变换找到两个未知关系的变量之间的数学关系，通过矩阵的变换找到另外一个向量使得这个向量与动态描述向量和静态描述向量都用联系，从而就用这个向量来表示静态描述向量和动态描述向量；

其中，

所述步骤2)具体如下：

步骤21)采用步长为5*5的采样框对每帧中的关键点进行采样，设置第t帧关键点的坐标为P_t(x_t,y_t)，则t+1帧的坐标为所述P为关键点，M为中值滤波的内核，ω为光流磁场中的滤波中值，为(x_t,y_t)的四舍五入的值；

步骤22)在步骤21)中5*5的采样框没有包括特征点，则手动增加这个特征点到跟踪的轨迹中；

步骤23)记录每个视频片段中每帧的关键点的坐标，得到序列S＝(ΔP_t,ΔP_t+1,...ΔP_t+l-1)；产生的矢量通过位移矢量的大小之和来归一化得到所述l为步骤1中的帧片段数，ΔP_t＝(P_t+1-P_t)＝(x_t+1-x_t,y_t+1-y_t)；

步骤24)分离帧内的每一个区域，选取领域半径ε和核心点MinPoints；去除离集群中最远的20％的点保证DT算法作用在整个区域。