[发明专利]基于双流网络的场景分类方法、系统、设备及介质

说明书

本发明公开了一种结合显著区域检测的场景分类方法、系统、设备及介质，场景分类方法包括：短视频图像处理步骤：对短视频图像进行抽帧提取获得多个视频帧，根据多个视频帧获得具有对应多个所述视频帧的多个第一图片信息的图像数据集；图片信息处理步骤：对所述图像数据集的每一所述第一图片信息进行遮挡处理获得对应的第二图片信息；分类识别步骤：通过双流网络对第一图片信息及第二图片信息进行分类识别获得对应每一所述第一图片信息的图像场景概率；图像概率处理步骤：根据每一第一图片信息的图像场景概率计算获得短视频图像的每一场景类别的场景概率，通过本发明能够提高短视频图像的识别准确率及分类性能。

技术领域

本发明涉及视频处理技术领域，特别涉及一种基于双流网络的场景分类方法、系统、设备及介质。

背景技术

随着科学技术的飞速发展，通讯技术得到了飞速的发展，目前的通讯技术已经发展到了第五代通信---5G。5G技术的飞速发展带来了互联网信息传播的新途径---短视频。短视频已经成为了目前社会生活下传播信息最丰富，最快捷，最受欢迎的途径。在这种丰富的月活人数下，各种短视频平台的数据量急剧上升，如何能够更好的使用丰富的短视频，并提取出有用的信息，进行数据分析也成为了一个新的技术课题。

与正常的场景分类不同，短视频场景分类主要面临两个问题需要进行解决：

一是与图像不同，一副图像中只会描述一种场景。如图1中，这幅图像就只是描述了室内的场景。而对于短视频而言，由于其是一个较长时间的故事，因此场景会发生切换。如图2所示，其场景由室外切换到室内，因此对于一个短视频内的场景要尽可能的将所有的场景都识别到。

二是与普通的场景识别不同，短视频场景下，周围环境信息的内容较为稀少，大部分均是人物占据主要区域，因此如何在少量信息下进行准确的场景识别也是一个非常大的挑战。如图3所示，人物占据主要区域，户外场景只在图像的右上和左上区域。

基于以上问题现有技术大都采取以下方案：

1、基于视频级的3D卷积场景分类方法

目前，最为广泛C3D是Facebook的一个工作，它主要是把2D Convolution扩展到3D。其原理如下图，我们知道2D的卷积操作是将卷积核在输入图像或特征图(feature map)上进行滑窗，得到下一层的特征图。例如，图(a)是在一个单通道的图像上做卷积，图(b)是在一个多通道的图像上做卷积(这里的多通道图像可以指同一张图片的3个颜色通道，也指多张堆叠在一起的帧，即一小段视频)，最终的输出都是一张二维的特征图，也就是说，多通道的信息被完全压缩了。而在3D卷积中，为了保留时序的信息，对卷积核进行了调整，增加了一维时域深度。如图(c)所示，3D卷积的输出仍是一个三维的特征图。因此通过3D卷积，C3D可以直接处理视频，同时利用表观特征和时序特征。但这种方法的缺点是：基于视频的方法，只能给出这个视频的主题场景，一般会忽略掉短视频中出现时长较为短暂的其他场景，导致其结果不满足要求。

2、基于图像级的抽帧采样场景分类方法

本技术方法是对于整个短视频先进行帧的提取操作，在提取帧的基础上使用基于图像的场景分类方法进行分类操作。直接利用现有成熟的网络架构如ResNet就可以实现图像涉及场所的识别。在对于所有的图像进行识别后，对于最终的识别结果进行聚合，这样出现频次较高的场景会有相对较高的结果，出现频次较低的场景会有相对而言较低的结果，但是会包含所有出现过的场景。但这种方法的缺点是：但由于图像级的条件下，图像中的主体被人物所遮挡因此识别的准确率可能不高。

因此亟需开发一种克服上述缺陷的基于双流网络的场景分类方法、系统、设备及介质。

发明内容

针对上述问题，本申请实施例提供了一种基于双流网络的场景分类方法、系统、设备及介质，以至少解决提高识别的准确率及分类性能的问题。