[发明专利]用于生成视频摘要的方法和系统

说明书

本公开提供了一种用于生成视频摘要的方法和系统，涉及视频技术领域。该方法可以包括：根据视频场景的变化将视频切分为多个镜头，其中每个镜头为一段内容连续的视频场景；计算每个镜头的重要性分值；以及从该多个镜头中选取一组镜头拼接成视频摘要，其中，在满足视频摘要总时长的约束条件的情况下，所选取的该组镜头的总的重要性分值最大。本公开可以使得视频摘要中包含一些比较重要的镜头或片段。

技术领域

本公开涉及视频技术领域，特别涉及一种用于生成视频摘要的方法和系统。

背景技术

视频摘要是从一段较长的视频中选取关键帧或者关键片段并拼接成一段较短的视频，使观看者能够在较短的时间内了解原始视频的内容或者欣赏原始视频中的精彩片段。视频摘要有广泛的应用场景，包括个人视频剪辑、电视电影剧情介绍、视频辅助刑侦和互联网短视频等。在现有的生成视频摘要的方法中，由于对视频评价的主观性较强，因此所生成的视频摘要可能会丢失一些比较重要的片段或精彩内容。

例如，现有视频摘要方法一般是基于一些通用性准则来选取关键帧和关键片段，较少有针对特定场景和应用的视频摘要方法。这导致这样的方法在一些具体应用场景特别是视频广告领域的效果不太好，经过摘要处理的广告视频可能会丢失用于介绍商品品牌和商品特点的关键片段，以及一些能快速抓住观众心理的精彩内容。

发明内容

本公开实施例解决的一个技术问题是：提供一种用于生成视频摘要的方法，使得该视频摘要能包含一些比较重要的镜头或片段。

根据本公开实施例的一个方面，提供了一种用于生成视频摘要的方法，包括：根据视频场景的变化将视频切分为多个镜头，其中每个镜头为一段内容连续的视频场景；计算每个镜头的重要性分值；以及从所述多个镜头中选取一组镜头拼接成视频摘要，其中，在满足视频摘要总时长的约束条件的情况下，所选取的该组镜头的总的重要性分值最大。

在一些实施例中，计算每个镜头的重要性分值的步骤包括：利用三维卷积网络对每个镜头提取特征向量，获得镜头集合的特征向量序列；以及将所述特征向量序列输入到预先训练的镜头重要性分值计算网络以计算每个镜头的重要性分值。

在一些实施例中，在将视频切分为多个镜头之前，所述方法还包括：采用强化学习的方法对镜头重要性分值计算网络进行训练，其中，所述强化学习的方法所包含的关键元素包括：行动和价值奖励函数，所述价值奖励函数包含：多样性指标和代表性指标。

在一些实施例中，在从所述多个镜头中选取一组镜头拼接成视频摘要之前，所述方法还包括：在所述多个镜头中识别出展现关键特征的镜头。

在一些实施例中，所述关键特征包括商品品牌商标和商品品牌文字中的至少一个。

在一些实施例中，在所述多个镜头中识别出展现关键特征的镜头的步骤包括：使用基于深度学习的对象检测方法检测视频的每帧图像中的商标区域；以及将商标区域的图像输入到预先训练的深度模型提取嵌入特征向量，并将所述嵌入特征向量与数据库中的商标图像的特征向量进行比对，获取商标的品牌类型，从而识别出展现商品品牌商标的镜头；或者，使用基于深度学习的光学字符识别方法识别视频的每帧图像中的文字；以及对文字进行分词处理，并将处理后的文字与数据库中的品牌文字进行匹配，保留与商品品牌相关的文字，从而识别出展现商品品牌文字的镜头。

在一些实施例中，从所述多个镜头中选取一组镜头拼接成视频摘要的步骤包括：从所述展现关键特征的镜头中选取主镜头，并从所述多个镜头中的剩余镜头中选取辅助镜头，将所述主镜头和所述辅助镜头作为所选取的一组镜头，并将该组镜头拼接成视频摘要。