[发明专利]生成视频摘要的方法

说明书

技术领域

本发明涉及一种生成至少包括视频序列的内容信号的视频摘要的方法。

本发明还涉及一种生成至少包括视频序列的内容信号的视频摘要的系统。

本发明还涉及一种对至少包括视频序列的内容信号的视频摘要进行编码的信号。

本发明还涉及一种计算机程序。

背景技术

WO 03/060914公开了一种用于使用压缩域中提取的运动活动的时间模式对压缩视频进行摘要的系统和方法。时间模式与音频特征(具体地说，音频音量的峰值)的时间位置相关。通过使用十分简单的规则，通过丢弃不关注的视频部分并且标识关注事件来生成摘要。

已知方法的问题在于，只能通过使用于选择关注事件的准则更严格来使摘要较小，结果是损失了摘要质量。

发明内容

本发明的目的在于提供一种在开始段落中提及的类型的方法、系统、信号和计算机程序，用于提供关于其信息内容被感觉为相对高质量的相对紧凑的摘要。

该目的通过根据本发明的方法而得以实现，所述方法包括：

基于内容信号的相应部分的特性的分析以及用于标识第一类别的分段的至少第一准则集合，将视频序列的分段分类为至少第一类别和第二类别之一，以及

通过串接图像子序列来形成图像序列，每一子序列至少部分地基于所述第一类别的相应分段，从而：

在图像子序列中的至少一个中，基于所述第一类别的相应分段的运动图像被显示在第一类型窗口中，

所述方法还包括：使得第二类别分段的表示与图像序列的至少一些图像一起在不同类型窗口中显示。

例如，类型方面的差异可以包括以下任一：不同几何显示格式、不同目标显示设备或不同屏幕位置。

通过基于内容信号的相应部分的特性的分析以及用于标识第一类别分段的至少第一准则集合而将视频序列分段分类为至少第一类别和第二类别之一，视频序列中的精彩场面得以检测。适当选取第一准则集合确保了它们可以与最有信息的分段对应，而不是与最有代表性或占优的分段。例如，基于用于第一类型分段的分类符的值适当选取准则将确保选择体育比赛中得分(精彩场面)时刻的分段，而不是选择表示运动场的分段(占优部分)。通过串接图像的子序列，每一子序列至少部分地基于第一类别的相应分段，确保了由精彩场面来确定图像序列的长度，使得摘要序列相对紧凑。通过提供将输入视频序列的其余分段分类为至少第二类别，并且通过将第二类别的分段的表示与图像序列中的至少一些一起显示，使得对视频序列进行摘要的图像序列更有信息。因为基于第一类别的相应分段的运动图像显示在第一类型窗口中，并且第二类别分段的表示显示在不同类型窗口中，所以对内容信号进行摘要的图像序列是紧凑并且相对高质量的。观众可以区分精彩场面与其它类型的摘要元素。

在实施例中，第二类别分段的表示被包括在图像序列的至少一些中，从而第一类型窗口视觉上优于所述不同类型窗口。

因此，相对紧凑的摘要可以显示在一个屏幕上，并且相对有信息。具体地说，不止是仅可以显示精彩场面，而且清楚的是，在已经做过摘要的视频序列中哪些是精彩场面，以及哪个表示是具有次级重要性的分段的表示。此外，因为第一类别分段通过子序列确定摘要的长度，所以图像序列的主导部分是连续的，而所述不同类型窗口无需如此。

在实施例中，使得位于所述第一类别的两个分段之间的所述第二类别分段的表示与基于跟随所述第二类别分段的所述第一类别的两个分段之一的、图像子序列中的至少一些一起显示。

因此，视频摘要根据目的在于在摘要中保持与已经做过摘要的视频序列中的时间顺序对应的时间顺序的规则而得以建立。效果在于，避免了混淆的摘要，即演变为并行显示的两个分离摘要。比之任何其它情况，该视频摘要也是更有信息的，因为位于两个第一类别分段之间的第二类别分段极有可能与这两个第一类别分段之一有关(即，显示引起在前面或后面第一类别分段中之前的反应或事件)。

在实施例中，所述不同类型窗口叠加在第一类型窗口的一部分上。

因此，可以使得第一类型窗口相对较大，并且至少部分地基于第一类别分段的图像子序列可以具有相对高的分辨率。倘若在适当位置叠加所述不同类型窗口，那么第二类型窗口中所提供的额外信息对与第一类别分段对应的信息并不带来实质性的损失。

在实施例中，第二类别分段是基于内容信号的相应部分的分析以及用于标识第二类别分段的至少第二准则集合而得以标识的。