[发明专利]用于视频摘要的方法和系统

说明书

本申请涉及实时视频摘要。用于运行时捕获的视频摘要的系统、仪器、方法和计算机可读介质。通过相机模块在流生成的同时渐增地获得视频流摘要。当流演进时，通过将摘要更新为仅包括最重要的帧而维持视频流摘要的显著性。在一个示例性实施例中，显著性是通过对包括指示选择的多样性和选择对于视频数据语料库的处理部分有多大代表性的项的目标函数进行优化而确定的。包括CM且与示例性架构一致的设备平台可以以超低功率，和/或使用超低储存资源，和/或使用超低通信信道带宽，提供视频相机功能。

本申请是申请号为201580041365.1，申请日为2015年8月3日，发明名称为“实时视频摘要”的中国专利申请的分案申请。

要求优先权

本申请要求2014年9月4日提交的美国专利申请序列号14/477,595、题为“实时视频摘要(REAL TIME VIDEO SUMMARIZATION)”的优先权，并且其全部公开内容以引用方式并入本文。

技术领域

本申请涉及视频技术，特别是涉及实时视频摘要。

背景技术

数字相机是常常包括在商业电子媒体设备平台中的部件。数字相机现在以可佩戴形式因素(例如，视频捕获头戴式耳机、视频捕获耳机、视频捕获眼镜等)是可用的，还被嵌入在智能手机、平板电脑和笔记本电脑等内。

来自移动数字相机的流视频的引入已经开创了具有前所未有的视频数据量的新纪元。考虑用户佩戴装配有视频相机的一对眼镜的情况下的应用。该相机捕获描绘全天用户的活动的视频流。用户可对观看特定的一天的主要事件的大纲感兴趣。然而，这样大量数据的人工分析是难处理的，并且自动数据处理技术已经跟不上需要。

例如，尝试提取主要情况且提供捕获的视频的简洁表示的自动视频摘要算法通常要求访问整个预录的视频文件，并且生成该静态原子单元的摘要。然而，这样的技术依赖于大的处理/储存资源，以首先编码、归档和解码以潜在的高帧速率(例如，25帧/秒或更多)最初捕获的整个流持续时间。如果这样的处理/储存资源本来没有存在于视频记录平台内(视频记录平台可以变成用于超低功率平台(例如，耳机和其它可佩戴形式)的默认平台)，则整个视频流需要从相机平台被传送到后端机(例如，云服务器)，用于处理。然而，这样的传送引起通信信道上的重负载，并且对于很多设备平台和使用情况是不切实际的。

因而，当随着时间视频流从存在于平台上的相机模块硬件逐渐到达时，能够实时(运行时)自动摘要视频的视频记录平台架构和技术是有利的。

发明内容

本申请提供一个或多个非暂时计算机可读介质，所述一个或多个非暂时计算机可读介质存储指令，所述指令由一个或多个处理器执行以执行序列，所述序列包括：检测视频中第一段和第二段之间以及视频中第二段和第三段之间的镜头边界，其中段包括多个帧；存储基于所述第二段中的帧的特性的特征向量；使用基于所述特征向量的特征的目标检测技术以识别所述第二段的帧中的一个或多个目标，从而产生帧评分；以及基于至少一个帧评分选择用于所述第二段的代表帧。

本申请还提供相应的方法、系统和设备。

附图说明

在附图中以示例而非限制的方式示出本文中所描述的材料。为了简单和清楚的说明，附图中所示的元件不一定按比例绘制。例如，为了清楚，一些元件的尺寸相对于与其它元件的尺寸可被夸大。另外，在认为合适的情况下，在附图中已重复附图标记，以指示对应的或类似的元件。在附图中：

图1A根据一个或多个实施例是示出实时(RT)捕获的视频摘要方法的流程图；

图1B根据一个或多个实施例是示出RT捕获的视频摘要方法的流程图；

图2A根据实施例是包括RT视频数据流捕获和摘要平台的系统的功能框图；

图2B根据一个或多个实施例是RT视频数据流摘要系统的功能框图；