[发明专利]一种基于草图的视频摘要生成方法

说明书

技术领域

本发明属于人机交互领域，具体涉及一种基于草图的视频摘要生成方法。

背景技术

随着数码设备的普及和互联网技术的发展，视频资源数量呈海量式增长。数码设备的普及使得视频资源的采集成本极大的降低，人们随时随地可以借助数码DV或DC实现视频资源的采集。同时，伴随着互联网技术的发展以及流媒体技术的发展，视频借助互联网得以快速传播，使得人们获取视频资源的渠道更加便捷。正是由于这两个主要原因的存在，个人信息中视频媒体信息与日俱增，这对如何快速获得视频内容，以便于有效组织、管理视频资源提出了更高的要求。

视频的内容难以快速获取的问题和视频自身的特点有关。由于视频是一种动态的信息流，是由一系列离散的帧图像按时间顺序线性组成。视频的这种结构特性，使得当前浏览视频的主要方式大多是基于时间轴的方式。然而，基于时间轴的浏览方式只能线性的按顺序浏览，同时，时间轴与视频内容是分离的，这造成用户交互时手脑不一致，很难根据视频内容快速定位(参考文献：Dragicevic P，Ramos G，Bibiowitcz J，Nowrouzezahrai D，Balakrishnan，Singh K.Video browsing by direct manipulation.Proceeding of the twenty-sixthannual SIGCHI conference on Human factors in computing systems.NewYork：ACM，2008：237-246)。视频摘要的目的是为了解决视频内容快速获取的问题。它通常是用自动或半自动的方式对视频的结构和内容进行分析，从原始视频中提取出有意义的部分，并将它们以某种方式进行组合，形成简洁的、能够充分表现视频语义内容的概要。它是对长视频内容的简短总结，是对视频内容或语义的高度概括和描述。当前，视频摘要的主要形式是基于关键词、关键帧、或者故事板等静态方式或者是一段高度浓缩的动态视频摘要。以帧图像为主的静态形式的摘要无法有效的描述视频中的动态或隐含的信息，而通过动态摘要获得视频内容仍然需要人们线性的按序浏览视频。因此，如何利用更加简单、自然、普通用户容易达到的方式表述视频的语义，并使得用户获得更加准确、丰富的视频语义内容是有待解决的内容。

发明内容

本发明的目的在于提供一种基于草图的视频摘要生成方法，由于草图作为一种抽象的、模糊的形象化信息，可以有效地描述用户意图、表述或增强视频语义，缩小视频低层物理特征与高层语义之间的鸿沟。草图除了可以描述视频中所出现的对象等，还可以借助于特定的语义草图描述视频对象的行为等动态特征。例如，利用箭头可以描述对象的运动方向、运动轨迹、对象之间的链接关系。本发明所提出的方法主要包括对视频内容前期的预处理、视频语义分析、视频摘要的初始生成和基于交互的语义草图补全等过程。我们的目标是通过分析视频语义信息，将大量连续的静态视频帧转换成一副或几幅简单的草图形式的摘要，尽可能丰富地描述和表征视频的语义信息。针对草图在视频高层语义描述方面的应用需求特点，将草图划分为两类，一类是与人们的认知习惯普遍一致的、用于描述视频动态的或隐含信息的特殊语义符号，如描述视频对象的声音、注释、运动轨迹、运动方向等等，另一类是描述视频对象外在形状等可见信息的草图轮廓。它们共同描述视频对象的多个侧面。草图摘要的优势在于：用简洁的线条概要性的描述视频的主要内容；用富有特定含义的草图语义符号表现视频中对象的行为、声音等动态或隐含信息，传递了更加丰富的内容。

为实现上述发明目的，本发明采用如下的技术方案：

一种基于草图的视频摘要生成方法，其步骤为：

1)对视频进行镜头分割，并进行镜头筛选，得到关键帧；

2)对所述关键帧进行角色分析和场景分析；并根据角色分析确定关键帧的语义重要程度；

3)计算所述关键帧的图像质量评估值，并根据所述关键帧的图像质量评估值和语义重要程度值，对所述关键帧进行筛选；

4)根据步骤3)所确定的关键帧，提取视频关键对象的轮廓，生成视频对象的草图；

5)根据摘要绘图区域大小以及每幅草图所对应视频内容的重要程度重新设定对应草图的大小；

6)利用所述场景分析结果确定草图所在位置，生成草图之间的连接线，对草图进行连接，生成视频摘要。