[发明专利]基于一致性片段生成的无监督视频摘要方法

说明书

本发明公开了一种基于一致性片段生成的无监督视频摘要方法，包括以下步骤：原始视频的初始分割；一致性片段合并；通过爬山算法分两步分别优化静态一致性函数和动作一致性函数，迭代地调整每个片段的边界；利用多个图像兴趣度特征，计算每一帧的兴趣度分数，根据每个片段内所有帧的兴趣度分数估计该片段的重要性分数；将所有片段按重要性排序，选择重要性高且总时长接近指定长度的片段，按时间顺序连接，得到最终视频摘要。本发明生成的视频摘要与人类做出的最好视频摘要非常接近。

技术领域

本发明涉及计算机视觉领域中视频摘要技术，具体涉及一种基于一致性片段生成的无监督视频摘要方法。

背景技术

随着科技的发展、智能手机和摄像设备的普及，人们拍摄、保存、分享视频变得越来越方便，这也导致了在巨大的视频数据中找到相关的视频和想要的内容变得非常困难。另外，由于普通用户拍摄技巧不佳，大多数视频通常有噪声、冗余的内容等，造成不好的观看体验。视频摘要技术产生包含原始视频中重要和精彩内容的简短视频，这一技术可以用于解决上述问题。同时，视频摘要技术可以应用于安防领域中大量使用视频监控的场景，如公安行业、交通行业、电力行业、大型展会等。

视频摘要技术有很大的挑战性，因为来自不同文化背景、有着不同经历的人对于哪部分是视频中的精彩内容可能有不一致的观点。另外，较长的视频往往有混乱的结构和许多连续的动作，给提取视频摘要带来较大困难。现有的视频摘要方法大多采用各种计算复杂的模型或需要大量手工标注数据集的训练模型。

发明内容

本发明的目的在于提供一种基于一致性片段生成的无监督视频摘要方法。

实现本发明目的的技术方案为：一种基于一致性片段生成的无监督视频摘要方法，该方法包括以下步骤：

步骤1，以预设的长度将原始视频均匀地分割为多个相同长度的片段；

步骤2，计算每个片段和下一个相邻片段之间的片段静态相似度分数和片段动作相似度分数，并确定对应的两个自适应阈值，判断每个片段是否满足合并条件，对于满足合并条件的片段，合并其与下一个相邻片段，重复这个过程直到没有满足合并条件的片段；所述合并条件为片段的两个相似度分数同时超过各自阈值；

步骤3，用爬山算法分别优化静态一致性函数和动作一致性函数，调整所有片段的边界；

步骤4，计算每个片段内所有帧的兴趣度分数，以此估计每个片段的重要性，基于重要性和时长要求，得到最终的视频摘要结果。

本发明与现有技术相比，其显著特点在于：本发明提出了一种基于一致性片段生成的无监督视频摘要方法，包括原始视频的初分割、一致性片段的合并、一致性片段边界的调整、片段重要性的估计四个过程，实验表明，依据本发明方法生成的视频摘要与人类做出的最好视频摘要非常接近。

附图说明

图1是本发明基于一致性片段生成的无监督视频摘要方法流程图。

图2(a)、图2(b)是基于一致性片段生成的无监督视频摘要方法效果图。

具体实施方式

一种基于一致性片段生成的无监督视频摘要方法，包括以下步骤：

步骤1，以预设的长度将原始视频均匀地分割为多个相同长度的片段；

步骤2，计算每个片段和相邻的下一个片段之间的片段静态相似度分数和片段动作相似度分数，并确定对应的两个自适应阈值，判断每个片段是否满足合并条件，对于满足合并条件的片段，合并其与相邻的下一个片段，重复这个过程直到没有满足合并条件的片段；所述合并条件为片段的两个相似度分数同时超过各自阈值；

步骤3，用爬山算法分别优化静态一致性函数和动作一致性函数，调整所有片段的边界；