[发明专利]视频分析中的场景关键帧提取方法及装置

说明书

技术领域

本发明属于视频分析检索技术领域，尤其涉及一种视频分析中的场景关键帧提取方法及装置。

背景技术

随着网络技术的不断发展，网络视频越来越普及，人们通过网络搜索获取自己想要观看的视频并在线观看，网络上视频的数量也越来越多，因此，从海量视频中搜索到用户所需要的视频，属于视频搜索领域中备受关注的问题。

传统的视频搜索技术，一般都是基于文字的视频搜索技术，通常需要针对视频文件进行人工注释，但现在网络上的视频越来越多，对于大量的视频文件逐一进行注释工作量很大，需要大量的人力资源，增加人力成本，且效率低下。

因此，基于内容的视频搜索技术开始兴起，这种方式能够自动提取视频特征，方便用户视频搜索，从一定程度上避免上述缺点。用户通过客户端检索工具实现视频搜索，通过视频分析获取视频的特征，以方便视频检索。这种方式需要准确的获取视频的特征，才能实现准确的视频搜索匹配，现有的视频检索系统虽然包含一个视频信息数据库系统来存储视频的特征信息，但这些视频信息往往仅包含人工输入的视频特征数据信息，信息形式单一、信息量小，难以满足用户的检索需求。

为了改变视频数据检索的这种状况，必须将无序的视频数据有序化，从而建立基于内容的视频检索工具，让用户能随时检索到想要的视频数据，让视频能自动地适应环境，可以互动式操作，快速地检索，并在网上迅速、可靠地传送。这就需要对视频进行分析并提取其特征信息。

因此，在视频分析过程中，如何实现全面准确的视频特征信息的提取则成为亟待解决的技术问题。

发明内容

有鉴于此，本发明的一个目的是提供一种视频分析中的场景关键帧提取方法及装置，用以解决现有技术中存在不能全面、准确的提取用于视频搜索的视频特征信息的问题，通过对视频场景的准确分割及场景关键帧提取使提取的视频特征更全面准确。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明实施例提供一种视频分析中的场景关键帧提取方法，包括：

获取待分析的视频文件；

将所述视频文件分给为若干视频镜头，从分割出的各个视频镜头中提取能够代表镜头主要内容的镜头关键帧；

对分割出的视频镜头包含的镜头关键帧进行关键帧聚类，将各个镜头关键帧归类到不同的关键帧聚类中；

将时间上连续、镜头关键帧属于相同关键帧聚类的视频镜头，组合成视频场景；

从分割出的各个视频场景中提取能够代表场景主要特征的场景关键帧。

在一些可选的实施例中，所述将所述视频文件分给为若干视频镜头，具体包括：

在设定的滑动窗口中，计算相邻两个视频帧之间的距离；

根据每个滑动窗口中各相邻视频帧之间的距离，确定对视频文件进行镜头分割的分割点；

根据确定出的分割点，将所述视频文件分割为若干视频镜头。

在一些可选的实施例中，所述对分割出的视频镜头包含的镜头关键帧进行关键帧聚类，将各个镜头关键帧归类到不同的关键帧聚类中，具体包括：

针对每个镜头关键帧：

计算当前关键帧与设定的关键帧聚类的质心的距离，如果该距离大于设定的该关键帧聚类的距离阈值，则当前关键帧不加入该关键帧聚类中；否则记录该关键帧聚类为当前关键帧的备选关键帧聚类；

如果当前关键帧与设定的所有设定的关键帧聚类的质心的距离均大于设定的阈值，则以当前帧为质心形成新的关键帧聚类；

否则从记录的当前帧的备选关键帧聚类中选择与当前关键帧相似度最大的关键帧聚类加入。

在一些可选的实施例中，当一个视频镜头中的镜头关键帧不止一个时，确定每个镜头关键帧所属的关键帧聚类，将包含镜头关键帧最多的一个关键帧聚类作为该视频镜头的关键帧聚类，用于确定该视频镜头是否与时间上相邻的视频镜头属于相同的关键帧聚类。

在一些可选的实施例中，所述从分割出的各个视频场景中提取能够代表场景主要特征的场景关键帧，具体包括：

针对分割出的每个视频场景：

将视频场景中包含的各视频帧，归类到不同的视频帧聚类中；

从每个视频帧聚类中抽取离聚类质心最近的视频帧作为该聚类的代表帧；

由抽取出的所有代表帧组成该场景关键帧。

本发明实施例还提供一种视频分析中的场景关键帧提取装置，包括：