[发明专利]基于捷径深度神经网络的视频分类方法

说明书

本发明公开了一种基于捷径深度神经网络的视频分类方法，包括：训练分类器的步骤，包括：获取训练数据的类别标签，提取视频特征和异构特征，并设定开关节点数值，将训练数据的类别标签、视频特征和异构特征输入所述捷径深度神经网络，以训练得到用于对视频进行分类的分类器，视频的类别由所述类别标签表示；视频分类的步骤，包括：获取测试数据，提取视频特征和异构特征，并将测试数据的视频特征和异构特征输入分类器，以得到测试数据对应的类别标签；其中，视频特征由第一输入层输入，并依次通过多个隐藏层进行训练，异构特征由第二输入层输入，并根据开关节点数值通过相应的隐藏层进行训练。本发明具有分类简单、分类精确的优点。

技术领域

本发明涉及计算机多媒体技术领域，特别涉及一种基于捷径深度神经网络的视频分类方法。

背景技术

在近年多媒体技术飞速发展，以及国家文化大发展大繁荣的要求下，视频已经成为主流的内容传播途径。同时，随着视频制作技术的普及，越来越多的普通大众参与到视频的制作和上传工作上来，使得视频内容日渐多元化。

这一现象在使得以视频为基础的媒体及平台大发展的同时，也给视频内容的管理带来的更高的要求和挑战。如何给众多视频依据内容等特征进行正确的分类成为了一个非常突出的问题。显然，由平台和媒体来分类是不现实的，庞大的视频数量使得对视频逐一审查的代价过大；然而，让视频的上传者来进行分类也存在一定的问题，即其可能并不能准确把握视频平台对各类别的定义，这使得分类过程变得困难。

视频自动分类需要首先需要借助特征工程中方法将视频中的特征抽取出来，再将特征和对应的视频类别标签输入到合适的分类器中训练，最后将训练好的分类器用来给新的视频分类。视频的特征抽取方法主要有基于视频中文本的方法，基于音频的方法和基于视觉图像的方法，这些方法可以单独使用，也可以同时使用。对于每一个视频来说，其特征最终以一个向量的形式来表示，但不同视频其向量的维度可能不同，还需要使用主成分分析法(Principal Component Analysis，PCA)对其进行特征降维和对齐。

另外，在现今的各种视频网站或者媒体中，往往都存在对视频进行评论、评分等功能，这些属于视频之外但又与视频存在强烈对应关系的数据可以称之为异构数据。异构数据又往往能为视频分类提供大量的信息，例如在某视频基础上人为加工过的视频，单从视频本身的特征来分析，很有可能将其和原视频归为同一类别，然而事实上并不一定如此。因此应该将异构数据作为视频的重要特征予以考虑。以评论为例，可以使用潜在狄利克雷分配(Latent Dirichlet Allocation，LDA)模型对其进行特征抽取。为了区分从视频中抽取的特征和从异构数据中抽取的特征，之后将用“视频特征”和“异构特征”这两个词来加以区别。

在获得特征的前提下，可以使用深度神经网络(Deep Neural Network，DNN)作为分类器，利用特征和其对应的类别标签进行训练，从而获得最终为视频分类的分类器。深度信赖网络(Deep Belief Network，DBN)是近年来提出的较为成功的DNN之一，广泛被应用在物体识别，语音识别，信号识别，自然语言处理等多个机器学习领域。在传统做法中，可以将异构特征看作是视频特征的简单扩充，即将表示视频特征的向量和表示异构特征的向量简单连结成一个更大的特征向量作为DBN的输入。利用DBN给视频分类的过程包括以下步骤：

(1)将视频转化为RGB值向量。

(2)使用PCA方法将RGB值向量转化为视频特征。

(3)使用LDA方法将视频对应的评论转化为异构特征。

(4)将视频特征、异构特征以及视频的类别标签输入DBN中进行训练。

(5)对于未分类的视频，同样经(1)(2)(3)步处理后得到表示其特征的向量，并将其输入到训练好的DBN中，最后输出视频的类别标签。