[发明专利]一种基于动静特征的视频分类方法

说明书

本发明公开一种基于动静特征的视频分类方法，解决视频分类准确度不够高的问题。本发明首先对视频中的动态特征和静态特征进行处理，利用Cholesky变换对这些信息融合后，使用GRU神经网络完成视频的分类；接着通过DT算法捕获每个视频帧的动态特征，再通过DBSCAN聚类算法将每个视频帧隔离，在每个视频片段的每个帧里构建运动框并连接每个视频片段相邻帧之间的运动框，完成动态特征的捕获和跟踪；然后通过HoG和BoW方法将动态特征生成动态信息直方图与通过CNN神经网络生成的静态信息直方图利用Cholesky变换相融合；最后利用GRU神经网络实现视频的分类。本发明通过对动态和静态信息的分开处理，能够提升视频分类的准确性，具有良好的实施性和鲁棒性。

技术领域

本发明涉及一种基于动静特征的视频分类方法，属于行为识别、机器学习等交叉技术领域。

背景技术

近年来，视频中的行为识别和分类计算机视觉领域中的一个重要研究课题，具有重要的理论意义与实际应用价值。

随着我国经济社会的发展和科技的进步，对视频中任务的识别分析和理解已经成为社会科学和自然科学领域的重要内容，在安防监控、智慧城市建设、体育项目和生命健康等诸多领域都具有广泛的应用。与静态图片中的行为识别相比较而言，视频中背景的变化、动态对象的跟踪和高维度的数据处理等更加复杂，因而具有更大的挑战性。

对于视频中的人物行为识别主要分为两个部分，一是对于类似背景之类的静态信息的处理，二是对于动态对象的跟踪和识别。就视频分类来说，如何使视频中的静态信息和动态信息互不影响特征提取的同时又能保持这两者可以相互结合，以及结合的过程中动态特征向量和静态特征向量的贡献律是多少是需要确定的。

目前常用的跟踪方法主要是光流法，而常用的神经网络包括RNN神经网络，LSTM神经网络等。光流法的优点是在不需要知道场景任何信息的情况下，能够检测出运动目标，但是计算复杂度高，实时性差，对硬件有较高的要求。而训练标准的RNN来解决需要学习长期时间依赖性的问题是不理想的。

目前为止，对于视频中的行为和识别的分类的方法，还需要进行大量的研究工作。

发明内容

技术问题：发明所要解决的技术问题是视频中动态特征和静态特征的提取并完成二者信息的融合，以有效的提高对视频中行为分类的准确度。

技术方案：本发明的一种基于动静特征的视频分类方法包括以下步骤：

步骤1)输入1个视频，所述视频是用户输入的视频，将该视频分解成具有l帧的视频片段，其中每个视频片段的间隔为5帧；

步骤2)通过密集轨迹跟踪算法即DT算法对步骤1)输入视频中运动的对象进行跟踪，并使用基于密度的噪声空间聚类算法(DBSCAN聚类算法)对来隔离每帧视频，实现对上述视频中动态信息的捕获和跟踪；所述的DT算法是通过网格划分的方式在图片的多个尺度上分别密集采样特征点；DBSCAN聚类算法是从某个选定的核心点出发，不断向密度可达的区域扩张，得到一个包含核心点和边界点的最大化区域；

步骤3)在每个视频片段的每一帧图像中构建运动框，通过增加和删除运动管中运动框的数量使每帧图像中包含的运动框的数量一致，通过步骤2)中跟踪的运动轨迹，将每帧中的运动框连接，生成运动管；

步骤4)通过计算运动管中的光流矢量，利用方向梯度直方图HoG特征的方法为每个运动管统计运动管运动的方向，再通过k均值聚类法即k-means聚类法选取100000个描述方向的向量，从而生成对动态信息的描述；HoG特征是是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，通过计算和统计图像局部区域的梯度方向直方图来构成特征；k-means聚类法是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则；