[发明专利]选择和呈现代表性帧以用于视频预览

权利要求书

1.一种用于选择视频的代表性帧的计算机实现的方法，包括：

接收包括帧集合的视频；

识别所述视频的所述帧的每个帧的特征集合，所述特征包括基于帧的特征和语义特征，所述语义特征识别语义概念在所述视频的所述帧中作为内容存在的似然性；

生成所述视频的视频片段集合，每个视频片段包括来自所述视频的按时间顺序的帧的子集，并且每个帧与所述语义特征中的至少一个语义特征相关联；

至少基于所述语义特征为每个视频片段的所述帧的子集的每个帧生成分数；和

基于所述视频片段中的所述帧的所述分数为每个视频片段选择代表性帧，所述代表性帧表示和概述所述视频片段。

2.根据权利要求1所述的方法，还包括生成所述视频的片段表，所述片段表存储所述视频的所述视频片段的所述代表性帧和与所述代表性帧的每一个相关联的所述语义概念的集合。

3.根据权利要求1所述的计算机实现的方法，其中，所述基于帧的特征包括以下中的至少一个：

视觉特征，包括由颜色直方图、定向梯度的直方图、帧与相邻帧的颜色差分、运动特征、或特征追踪构成的组中的至少一个，以及；

音频特征，包括由音量、音频频谱图、话音-非话音指示符、或平稳化的听觉图像构成的组中的至少一个。

4.根据权利要求1所述的计算机实现的方法，其中，识别所述特征集合的所述步骤包括：

应用多个语义分类器以确定所述语义特征，

其中，语义分类器接收与基于帧的特征相关联的帧的指定，并输出所述帧与语义概念相关或描述语义概念的似然性，以及

其中，所述语义概念是分配给所述视频的所述内容的标签，并且对应于实体或自由文本。

5.根据权利要求1所述的计算机实现的方法，其中，生成所述视频片段集合的所述步骤包括：

分析所述基于帧的特征以确定所述视频内的镜头边界集合；

其中，镜头包括连续帧集合，且镜头边界指示相邻镜头之间的帧。

6.根据权利要求5所述的计算机实现的方法，其中，确定所述镜头边界的集合的所述步骤包括：

将分类器应用于与基于帧的特征相关联的帧以确定帧是否是镜头边界；

其中，使用有标签的镜头边界作为正性特征集合，且使用所述镜头边界附近的帧作为硬负性训练集合，来训练所述分类器，以及

其中，所述基于帧的特征包括与相邻帧的色差、运动特征、音频音量、和音频话音检测。

7.根据权利要求5所述的计算机实现的方法，其中确定所述镜头边界集合的所述步骤包括：

分析所述基于帧的特征的相干性；

其中，所述相干性度量在预定时间片段中基于帧的特征的相似性，并且

其中，所述相似性提供用于分割所述视频的距离度量。

8.根据权利要求5所述的计算机实现的方法，其中确定所述镜头边界集合的所述步骤包括：

在所述视频的帧的多个系列中追踪所述基于帧的特征；并且

其中，当帧和相邻帧之间的基于帧的特征的变化大于阈值时，将所述帧确定为镜头边界。

9.根据权利要求1所述的计算机实现的方法，其中所述分数包括语义分数，并且为所述帧生成所述语义分数的所述步骤包括：

通过将包括在所述视频片段中的所述按时间顺序的帧的子集生成的每个语义特征与阈值进行比较，为包含所述帧的视频片段识别语义概念集合，其中所述集合的每个语义概念具有大于所述阈值的所述对应语义特征；和

对于所述集合的每个语义概念，通过确定与参考值相比存在于所述帧中的所述语义概念的量，来确定所述视频片段中的所述按时间顺序的帧的子集的每一帧的帧级别分数；以及

通过合计所述片段中的所述帧的所述帧级别分数来确定所述帧的所述语义分数。

10.根据权利要求1所述的计算机实现的方法，其中，生成所述每个帧的所述分数的所述步骤包括组合所述帧中的语义概念和对应的似然性。