[发明专利]一种基于优化视频关键帧提取的短视频分类方法及系统

说明书

本发明公开了一种基于优化视频关键帧提取的短视频分类方法及系统，分类方法包括步骤：S1、提取短视频密集帧；S2、计算所述密集帧中各图像帧的信息量；S3、选取信息量最大的多个图像帧作为所述短视频的关键帧；S4、拼接所述关键帧生成短视频张量，将所述短视频张量输入3D‑CNN分类模型，基于所述3D‑CNN分类模型对所述短视频张量进行特征学习，输出短视频类别。本发明基于信息量对视频帧进行筛选，避免了视频抖动造成抽取的帧产生运动模糊或者由于画面切换导致抽取的帧为纯色的问题，提升了分类的准确性。

技术领域

本发明涉及短视频处理领域，具体涉及一种基于优化视频关键帧提取的短视频分类方法及系统。

背景技术

近年来，短视频作为信息的载体已经被广泛的使用和传播，因为短视频表达的内容更丰富和更直观。但是，一些不法分子会利用短视频传播一些不健康或者违法的视频来牟取私利，因此在短视频平台在发布短视频之前都应当对目标视频进行分类，过滤掉非法视频。同时，由于个体兴趣爱好的不同，对每个用户推荐的视频也应各不相同，因此利用短视频分类对不同类别推荐给不同用户也是必不可少。

目前视频分类处理流程为：1.视频帧提取，2.利用机器学习或深度学习方法对帧进行分类，3.将学习到的类别作为最终视频类别进行输出。对于步骤1，目前方法也是集中在对视频进行等间隔抽取或者按照时间差抽取。对于步骤2，随着数据量的增长，利用深度学习方法能有效提升算法准确性，且由于视频帧为多输入，故目前使用长短时记忆网络(Long Short Term Memory Network,LSTM)对视频帧进行分类的应用较多。

原有针对短视频分类的技术存在以下几点问题：

(1)在视频帧提取过程中通过等间隔抽取的视频帧随机性太大，通常会存在由于视频抖动造成抽取的帧产生运动模糊或者由于画面切换导致抽取的帧为纯色，如果这些帧也被放入后续模型中进行训练或者预测，将影响分类的准确性。

(2)由于视频帧序列为二维图像，而如果调用LSTM方法需要输入一维向量，之间存在二维到一维映射关系，目前采用的方法为先将将每帧图像输入主流的神经网络架构(resnet-50,vgg-16)中输出最后一个全连接层作为一维向量，最后将多个有顺序的一维向量输入LSTM中进行分类。不难发现，该主流方法利用了2个网络模型，将消耗大量计算资源并且严重影响分类时间效率。

公开号为CN 109977773 A的发明专利申请公开了一种基于多目标检测30CNN的人体行为识别方法及系统，该方法包括：1)对视频进行预处理，将视频流转化为图像帧；2)采用目前比较成熟的SSD检测技术对视频中的目标对象进行标定裁剪；3)建立图像帧数据和标定裁剪数据的特征提取网络结构；4)建立特征融合模型，将步骤3)中提取的两种特征进行融合；5)利用Softmax回归模型分类器进行分类；6)根据实际的应用场景或公共数据集，对训练好的模型进行微调。该专利申请采用3D-CNN(3D Convolutional Neural Networks)代替特征提取+LSTM对上文中的输入直接进行分类，降低了资源损耗和提高时间效率，使处理过程达到实时。

然而，上述专利申请对视频帧的截取仍然存在由于视频抖动造成抽取的帧产生运动模糊或者由于画面切换导致抽取的帧为纯色，造成分类准确性低的问题。因此，如何通过对视频帧的截取以提高分类准确性是本领域亟待解决的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于优化视频关键帧提取的短视频分类方法及系统。本发明基于信息量对视频帧进行筛选，避免了视频抖动造成抽取的帧产生运动模糊或者由于画面切换导致抽取的帧为纯色的问题，提升了分类的准确性。

为了实现以上目的，本发明采用以下技术方案：

一种基于优化视频关键帧提取的短视频分类方法，包括步骤：

S1、提取短视频密集帧；