[发明专利]一种基于注意力机制的视频分类方法

摘要

本发明公开了一种基于注意力机制的视频分类方法，通过卷积神经网络CNN提取视频的空间特征，以注意力权重组合所有的空间特征送入到长短时记忆网络LSTM提取视频的时间特征，最后采用多分类函数对视频内容进行分类。在LSTM网络中引入的注意力机制能够模拟人脑的识别功能，将不同的视频内容区别对待，有效提高视频分类的准确性。

主权项

一种基于注意力机制的视频分类方法，其特征在于，包括以下步骤：(1)、训练LSTM网络模型(1.1)、通过卷积神经网络CNN提取输入视频的空间特征设输入视频为X＝{x1,x2，…,xN}，N表示输入视频的总帧数，通过卷积神经网络CNN提取输入视频的空间特征为V＝{v1,v2,…,vN}，vi表示第i帧视频图像的特征向量，i＝1,2,…,N；(1.2)、以注意力权重组合空间特征，得到加权空间特征并输入到LSTM网络；其中，t＝1,2,…,T,T表示时刻总数；(1.3)、更新当前时刻LSTM网络状态；其中，ft、it、ot分别表示LSTM网络的遗忘门、输入门和输出门的计算结果，ht‑1和ct‑1分别表示上一时刻隐藏单元状态和记忆单元状态，ht和ct分别表示当前时刻隐藏单元状态和记忆单元状态，σ(·)是sigmoid函数，表示点积运算，Uf、Ui、Uc，Af、Ai、Ac，bi、bf、bc分别为待学习参数；(1.4)、LSTM网络根据当前时刻状态预测视频类别；计算当前时刻t时视频类别的预测概率分布其中，softmax(·)是多分类函数，Up、Wp、bp、d分别为待学习参数；(1.5)、重复步骤(1.2)‑(1.4)，分别预测出其余T‑1个时刻的视频类别的预测概率分布pt；(1.6)、计算第T次的预测概分布值pT和视频标识之间的误差Δε，采用BPTT算法将误差Δε进行反向传递进而更新LSTM网络中待学习参数，完成本轮迭代；(1.7)、当本轮迭代完成后，按照步骤(1.2)‑(1.6)所述方法进行下一轮迭代，直到完成M次迭代，得到训练好的LSTM网络模型；(2)、利用训练后的LSTM网络模型对视频进行分类(2.1)、从待检测视频中每间隔m帧提取一个长度为n视频片段作为测试样本xj，j＝1,2,…,L，L表示待检测视频划分为长度为n的视频片段的个数；(2.2)、将L个测试样本xj按照步骤(1.1)‑(1.5)所述方法进行处理，得到L个预测概率分布pT；(2.3)、在L个预测概率分布pT中，选取每一个预测概率分布pT中概率最大项的维度所对应的类别作为该测试样本xj的类别，从而得到L个统计结果，再统计L个统计结果中每个类别出现的次数，并将出现次数最多的类别作为待检测视频的类别；如果出现最大最大次数相等的类别，则以最大次数相等对应的预测概率分布pT中概率最大项的维度所对应的类别作为待检测视频的类别。