[发明专利]一种基于深度矩阵分解的短视频多标签分类方法

权利要求书

1.一种基于深度矩阵分解的短视频多标签分类方法，该方法包括以下步骤：

将短视频数据集划分为训练集、验证集和测试集，通过特征提取分别提取输入短视频的视频特征、音频特征和光流特征；

利用索引矩阵、样本关系矩阵、标签编码矩阵和标签关系矩阵对样本和标签的潜在相关信息进行编码，对视频特征、音频特征和光流特征分别进行深度矩阵分解，得到通用编码矩阵；

利用通用编码矩阵，通过深度分解，分别得到视频特征、音频特征和光流特征的个性解码矩阵；

将视频特征、音频特征和光流特征的个性解码矩阵拼接后，输入到多标签分类器中得到最终的多标签分类结果。

2.根据权利要求1所述的一种基于深度矩阵分解的短视频多标签分类方法，其特征在于，所述提取输入短视频的视频特征、音频特征和光流特征分别为：

输入短视频的视频特征提取方法是Inception v2，音频特征提取方法是MFCC，光流特征提取方法是在Lucas-Kanade光流算法得到的结果上，再使用Inception v2。

3.根据权利要求1所述的一种基于深度矩阵分解的短视频多标签分类方法，其特征在于，所述利用索引矩阵、样本关系矩阵、标签编码矩阵和标签关系矩阵对样本和标签的潜在相关信息进行编码具体为：

Q_k∈R^N×N，Z_k∈R^N×N，P_k∈R^N×C，L∈R^C×C

其中，R表示实数域，C表示标签类别，N表示数据集的样本数量，每个样本至少有一个标签，索引矩阵Q_k＝{0,1}^N×N的值仅在对角线上，如果Q_k,ii＝1，则选中第i个样本，否则不选择；对于样本关系矩阵Z_k∈R^N×N，如果样本i有a个标签，样本j有b个标签，若样本i和样本j共同拥有n个相同的标签，则Z_ij＝n；标签编码矩阵P_k是样本标签信息的One Hot编码矩阵，即对于第i行的样本i，如果其属于标签j，则P_k,ij＝1，否则为0；标签关系矩阵L∈R^C×C是对标签之间潜在的关系结构信息进行自适应编码。

4.根据权利要求1所述的一种基于深度矩阵分解的短视频多标签分类方法，其特征在于，所述利用通用编码矩阵，通过深度分解，分别得到视频特征、音频特征和光流特征的个性解码矩阵为：

其中，表示在第v个视图对样本提取的特征矩阵，其每一列表示具有D_v维的样本，||·||_F表示F范数，是因子矩阵，是通用编码矩阵，是解码矩阵。