[发明专利]一种视频场景识别方法、装置、计算机设备及存储介质

说明书

本发明公开了一种视频场景识别方法、装置、计算机设备及存储介质。该方法包括对视频进行镜头边界检测，得到多个候选边界帧；对多个候选边界帧进行RGB差异值筛选，得到分界帧，并根据分界帧将视频分割为镜头集；提取镜头集中每一镜头的关键帧；对每一镜头中的关键帧进行场景识别并设置对应的场景标签，得到视频的场景标签集。本发明引入镜头分割策略，将视频以镜头为单位进行切分；继而从单一镜头获取关键帧并输入到场景识别模型中进行识别，从而大大降低了计算成本，提高了视频场景识别的效率。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种视频场景识别方法、装置、计算机设备及存储介质。

背景技术

在计算机视觉领域，智能剪辑越来越受到关注，其中视频内容理解技术成为了其中的关键。视频内容理解中包括场景识别、目标检测、人物识别等任务。其中视频场景识别是视频内容理解中的关键部分。视频场景识别即为场景分类，场景分类目标是根据视频帧的环境内容、对象和空间信息将视频帧预定义为场景类别，如室内的厨房、客厅、衣帽间和图书馆等，室外的沙滩、运动场等。

当前主流的分类方法集中于使用深度学习方法，根据识别模型的关注点不一致可以分为以下三类：基于对象的场景识别、基于区域的场景识别以及基于上下文的场景识别。其中基于对象的场景识别方法以识别对象为主，根据场景中出现的特定相关对象来推测当前场景类别。基于区域的场景识别方法是通过目标候选区域选择算法来生成一系列的候选区域，然后通过深度神经网络提取候选区域的特征，并进行分类。基于上下文的场景分类方法则是将场景图像看作全局对象而非图像中的某一对象或细节。

无论是哪种方法，卷积神经网络(CNN)在其中都起到关键作用。同时，对于产品应用落地而言，CNN模型存在一个无法躲避的问题，即现有模型又大又慢，为了追求模型精度，不断地增加模型深度，导致模型参数剧增，导出的模型大小对算法落地极不友好。在移动端和桌面端产品而言，速度很慢，对硬件资源的要求高，这大大限制了该算法在产品中落地部署。

发明内容

本发明的目的是提供一种视频场景识别方法、装置、计算机设备及存储介质，旨在解决现有视频场景识别方法存在模型大、计算效率低的问题。

为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种视频场景识别方法，包括：

对视频进行镜头边界检测，得到多个候选边界帧；

对所述多个候选边界帧进行RGB差异值筛选，得到分界帧，并根据所述分界帧将视频分割为镜头集；

提取所述镜头集中每一镜头的关键帧；

对每一所述镜头中的关键帧进行场景识别并设置对应的场景标签，得到所述视频的场景标签集。

另外，本发明要解决的技术问题是还在于提供一种视频场景识别装置，包括：

边界检测单元，用于对视频进行镜头边界检测，得到多个候选边界帧；

镜头分割单元，用于对所述多个候选边界帧进行RGB差异值筛选，得到分界帧，并根据所述分界帧将视频分割为镜头集；

关键帧提取单元，用于提取所述镜头集中每一镜头的关键帧；

场景识别单元，用于对每一所述镜头中的关键帧进行场景识别并设置对应的场景标签，得到所述视频的场景标签集。

另外，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的视频场景识别方法。

另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的视频场景识别方法。